NVIDIA NeMo Framework

Specificazioni

• Nome di u produttuNVIDIA NeMo Framework
• Piattaforme affettate: Windows, Linux, macOS
• Versioni Affettate: Tutte e versioni prima di u 24
• Vulnerabilità di sicurezza: CVE-2025-23360
• Puntu di basa di a valutazione di u risicu: 7.1 (CVSS v3.1)

Istruzzioni per l'usu di u produttu

Installazione di l'aghjurnamentu di sicurezza:
Per prutege u vostru sistema, seguitate sti passi:

1. Scaricate l'ultima versione da a pagina NeMo-Framework-Launcher Releases nant'à GitHub.
2. Andate à a Sicurezza di u produttu NVIDIA per più infurmazioni.

Dettagli di l'aghjurnamentu di sicurezza:
L'aghjurnamentu di sicurezza risolve una vulnerabilità in u framework NVIDIA NeMo chì puderia purtà à l'esecuzione di codice è à a perdita di dati.ampering.

Aghjurnamentu di u Software:
Sè vo aduprate una versione di branch precedente, hè cunsigliatu di fà l'aghjurnamentu à l'ultima versione di branch per risolve u prublema di sicurezza.

Overview

NVIDIA NeMo Framework hè un framework di IA generativa scalabile è nativu di u cloud custruitu per i circadori è i sviluppatori chì travaglianu nantu à Grandi mudelli di lingua, Multimodale, è IA vocale (es Riconoscimentu Automaticu di a Voce è Text-to-SpeechPermette à l'utilizatori di creà, persunalizà è implementà in modu efficiente novi mudelli di IA generativa sfruttendu u codice esistente è i punti di cuntrollu di mudelli pre-addestrati.

Istruzzioni di stallazione: Installà u quadru NeMo

Grandi Modelli di Lingue è Modelli Multimodali
U quadru NeMo furnisce un supportu end-to-end per u sviluppu di Large Language Models (LLM) è Multimodal Models (MM). Offre a flessibilità per esse adupratu in situ, in un centru di dati, o cù u vostru fornitore di cloud preferitu. Supporta ancu l'esecuzione in ambienti abilitati per SLURM o Kubernetes.

Curazione di dati
Curatore NeMo [1] hè una biblioteca Python chì include una suite di moduli per a minera di dati è a generazione di dati sintetici. Sò scalabili è ottimizzati per e GPU, ciò chì li rende ideali per a cura di dati in lingua naturale per furmà o affinà LLM. Cù NeMo Curator, pudete estrarre in modu efficiente testu di alta qualità da dati grezzi estensivi. web fonti di dati.

Furmazione è persunalizazione

NeMo Framework furnisce strumenti per una furmazione è una persunalizazione efficaci di LLM è mudelli multimodali. Include cunfigurazioni predefinite per a cunfigurazione di u cluster di calculu, u scaricamentu di dati è l'iperparametri di u mudellu, chì ponu esse aghjustati per furmà si nantu à novi insemi di dati è mudelli. In più di a pre-furmazione, NeMo supporta e tecniche di Supervised Fine-Tuning (SFT) è di Parameter Efficient Fine-Tuning (PEFT) cum'è LoRA, Ptuning è altre.

Dui opzioni sò dispunibili per lancià a furmazione in NeMo - aduprendu l'interfaccia API NeMo 2.0 o cù NeMo Run.

• Cù NeMo Run (Raccomandatu): NeMo Run furnisce un'interfaccia per simplificà a cunfigurazione, l'esecuzione è a gestione di l'esperimenti in diversi ambienti di calculu. Questu include u lanciu di travaglii nantu à a vostra stazione di travagliu lucalmente o nantu à grandi cluster - sia abilitati per SLURM sia Kubernetes in un ambiente cloud.
  • Pre-allenamentu è avviamentu rapidu PEFT cù NeMo Run
• Utilizendu l'API NeMo 2.0: Stu metudu funziona bè cù una cunfigurazione simplice chì implica picculi mudelli, o sè site interessatu à scrive u vostru propiu caricatore di dati persunalizatu, cicli di furmazione, o cambià i strati di u mudellu. Vi dà più flessibilità è cuntrollu nantu à e cunfigurazioni, è facilita l'estensione è a persunalizazione di e cunfigurazioni programmaticamente.
  • TraGuida rapida di l'iniziu cù l'API NeMo 2.0
  • Migrazione da l'API NeMo 1.0 à NeMo 2.0

Allineamentu

• Allineatore NeMo [1] hè un strumentu scalabile per un allineamentu efficiente di mudelli. U strumentu supporta algoritmi d'allineamentu di mudelli d'avanguardia cum'è SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), è assai di più. Quessi algoritmi permettenu à l'utilizatori d'allineà i mudelli linguistichi per esse più sicuri, innocui è utili.
• Tutti i punti di cuntrollu NeMo-Aligner sò cumpatibili cù l'ecosistema NeMo, ciò chì permette una ulteriore persunalizazione è implementazione di inferenze.

Flussu di travagliu passu à passu di tutte e trè fasi di RLHF nantu à un picculu mudellu GPT-2B:

• Furmazione SFT
• Furmazione di u mudellu di ricumpensa
• Furmazione PPO

Inoltre, dimustremu supportu per diversi altri novi metudi d'allineamentu:

• DPO: un algoritmu d'allineamentu ligeru paragunatu à RLHF cù una funzione di perdita più simplice.
• Auto-Ghjocu Regolazione fine (SPIN)
• SteerLM: una tecnica basata annantu à SFT cundiziunata, cù output orientabile.

Verificate a ducumentazione per più infurmazione: Documentazione di l'allineamentu

Modelli Multimodali

• NeMo Framework furnisce un software ottimizatu per furmà è implementà mudelli multimodali d'avanguardia in parechje categurie: Modelli di Lingua Multimodale, Fundamenti di Visione-Lingua, mudelli Testu-Immagine, è oltre a Generazione 2D utilizendu Campi di Radianza Neurale (NeRF).
• Ogni categuria hè cuncipita per risponde à bisogni specifichi è avanzamenti in u campu, sfruttendu mudelli d'avanguardia per trattà una vasta gamma di tipi di dati, cumpresi testu, immagini è mudelli 3D.

Implementazione è Inferenza
NeMo Framework furnisce diversi percorsi per l'inferenza LLM, chì rispondenu à diversi scenarii di implementazione è esigenze di prestazioni.

Implementà cù NVIDIA NIM

• NeMo Framework s'integra perfettamente cù l'arnesi di implementazione di mudelli à livellu d'impresa per mezu di NVIDIA NIM. Questa integrazione hè alimentata da NVIDIA TensorRT-LLM, chì garantisce un'inferenza ottimizzata è scalabile.
• Per più infurmazione nantu à NIM, visitate u situ web di NVIDIA. websitu.

Implementà cù TensorRT-LLM o vLLM

• NeMo Framework offre script è API per esportà mudelli in duie biblioteche ottimizzate per l'inferenza, TensorRT-LLM è vLLM, è per implementà u mudellu esportatu cù u servitore d'inferenza NVIDIA Triton.
• Per scenarii chì necessitanu prestazioni ottimizzate, i mudelli NeMo ponu sfruttà TensorRT-LLM, una biblioteca specializata per accelerà è ottimizà l'inferenza LLM nantu à e GPU NVIDIA. Stu prucessu implica a cunversione di i mudelli NeMo in un furmatu cumpatibile cù TensorRT-LLM utilizendu u modulu nemo.export.
  • Distribuzione LLM finitaview
  • Implementà i mudelli di lingua NeMo Large cù NIM
  • Implementà i mudelli di lingua NeMo Large cù TensorRT-LLM
  • Implementà i mudelli di lingua NeMo Large cù vLLM

Modelli supportati

Grandi mudelli di lingua

Grandi mudelli di lingua

Grandi mudelli di lingua	Pre-furmazione è SFT	PEFT	Allineamentu	Cunvergenza di a furmazione di l'8u FP	TRT/TRTLLM	Cunvertisce da è versu a faccia chì abbraccia	Valutazione
Lama3 8B/70B, Lama3.1 405B	Iè	Iè	x	Iè (parzialmente verificatu)	Iè	Tramindui	Iè
Mixtral 8x7B/8x22B	Iè	Iè	x	Iè (micca verificatu)	Iè	Tramindui	Iè
Nemotron 3 8B	Iè	x	x	Iè (micca verificatu)	x	Tramindui	Iè
Nemotron 4 340B	Iè	x	x	Iè (micca verificatu)	x	Tramindui	Iè
Baichuan2 7B	Iè	Iè	x	Iè (micca verificatu)	x	Tramindui	Iè
ChatGLM3 6B	Iè	Iè	x	Iè (micca verificatu)	x	Tramindui	Iè
Gemma 2B/7B	Iè	Iè	x	Iè (micca verificatu)	Iè	Tramindui	Iè
Gemma2 2B/9B/27B	Iè	Iè	x	Iè (micca verificatu)	x	Tramindui	Iè
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Iè	Iè	x	Iè (micca verificatu)	x	x	Iè
Phi3 mini 4k	x	Iè	x	Iè (micca verificatu)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Iè	Iè	x	Iè (micca verificatu)	Iè	Tramindui	Iè
StarCoder 15B	Iè	Iè	x	Iè (micca verificatu)	Iè	Tramindui	Iè
StarCoder2 3B/7B/15B	Iè	Iè	x	Iè (micca verificatu)	Iè	Tramindui	Iè
BERT 110M/340M	Iè	Iè	x	Iè (micca verificatu)	x	Tramindui	x
T5 220M/3B/11B	Iè	Iè	x	x	x	x	x

 

Modelli di Lingua Visione

 

Incorporazione di Modelli

 

Modelli di a Fundazione Mundiale

Nota
NeMo supporta ancu u pretraining per l'architetture di diffusione è autoregressive. text2world mudelli di fundazione.

IA vocale

U sviluppu di mudelli d'IA cunversazionale hè un prucessu cumplessu chì implica a definizione, a custruzzione è a furmazione di mudelli in duminii particulari. Stu prucessu richiede tipicamente parechje iterazioni per ghjunghje à un altu livellu di precisione. Spessu implica parechje iterazioni per ottene una alta precisione, l'aghjustamentu di diverse attività è dati specifichi di u duminiu, assicurendu e prestazioni di furmazione è preparendu i mudelli per u spiegamentu di l'inferenza.

NeMo Framework furnisce supportu per a furmazione è a persunalizazione di i mudelli di IA vocale. Questu include attività cum'è u Riconoscimentu Automaticu di a Parolla (ASR) è a sintesi di Sintesi à Parolla (TTS). Offre una transizione fluida à a distribuzione di pruduzzione à livellu d'impresa cù NVIDIA Riva. Per aiutà i sviluppatori è i circadori, NeMo Framework include punti di cuntrollu pre-furmati d'avanguardia, strumenti per l'elaborazione di dati vocali riproducibili è funzioni per l'esplorazione è l'analisi interattiva di insemi di dati vocali. I cumpunenti di NeMo Framework per IA vocale sò i seguenti:

Furmazione è persunalizazione
U quadru NeMo cuntene tuttu ciò chì hè necessariu per furmà è persunalizà i mudelli di voce (ASR, Classificazione di a parolla, Riconoscimentu di l'Oratore, Diarizazione di l'Interlocutore, è TTS) in modu riproducibile.

Modelli pre-addestrati SOTA

• NeMo Framework furnisce ricette d'avanguardia è punti di cuntrollu pre-addestrati di parechji ASR è TTS mudelli, è ancu struzzioni nantu à cumu caricalli.
• Strumenti di Discorsu
• NeMo Framework furnisce un inseme di strumenti utili per u sviluppu di mudelli ASR è TTS, cumpresi:
  • Allineatore furzatu NeMo (NFA) per generà timest à livellu di token, parola è segmentuampdi voce in audio utilizendu i mudelli di ricunniscenza automatica di a voce basati nantu à CTC di NeMo.
  • Processore di Dati Vocali (SDP), un strumentu di strumenti per simplificà u trattamentu di i dati vocali. Vi permette di rapprisintà l'operazioni di trattamentu di dati in una cunfigurazione file, minimizendu u codice boilerplate è permettendu a riproducibilità è a spartibilità.
  • Esploratore di Dati Vocali (SDE), basatu annantu à Dash web applicazione per l'esplorazione è l'analisi interattiva di datasets di voce.
  • Strumentu di creazione di dataset chì furnisce funzionalità per allineà l'audio longu files cù e trascrizioni currispondenti è dividili in frammenti più corti chì sò adatti per a furmazione di u mudellu di Riconoscimento Automaticu di a Parolla (ASR).
  • Strumentu di paragone per i mudelli ASR per paragunà e previsioni di diversi mudelli ASR à u livellu di precisione di e parolle è di enunciazione.
  • Valutatore ASR per valutà e prestazioni di i mudelli ASR è altre funzioni cum'è a Rilevazione di l'Attività Vocale.
  • Strumentu di nurmalizazione di testu per cunvertisce u testu da a forma scritta à a forma parlata è vice versa (per esempiu "31esimu" vs "trentunesimu").
• Percorsu versu u spiegamentu
• I mudelli NeMo chì sò stati furmati o persunalizati cù u NeMo Framework ponu esse ottimizzati è implementati cù NVIDIA Riva. Riva furnisce container è grafichi Helm specificamente cuncepiti per automatizà i passi per a implementazione push-button.

Altre risorse

Repositori GitHub

• NeMoU repositoriu principale per u Framework NeMo
• NeMo–CorriUn strumentu per cunfigurà, lancià è gestisce i vostri esperimenti di apprendimentu automaticu.
• Allineatore NeMo: Strumenti di strumenti scalabili per un allineamentu efficiente di u mudellu
• NeMo-Curatore: Kit di strumenti di pre-elaborazione è curazione di dati scalabili per LLM

Ottene aiutu
Interagisce cù a cumunità NeMo, fà dumande, uttene aiutu, o signalà bug.

• Discussioni NeMo
• Prublemi di NeMo

Linguaggi di prugrammazione è Frameworks

• PythonL'interfaccia principale per aduprà NeMo Framework
• PitorcaNeMo Framework hè custruitu sopra PyTorch

Licenze

• U repositoriu NeMo Github hè licenziatu sottu a licenza Apache 2.0
• NeMo Framework hè licenziatu sottu à l'ACCORDU DI PRODOTTU NVIDIA AI. Tirendu è aduprendu u container, accettate i termini è e cundizioni di sta licenza.
• U cuntainer NeMo Framework cuntene materiali Llama guvernati da l'Accordu di Licenza di a Cumunità Meta Llama3.

Note a piè di pagina
Attualmente, u supportu di NeMo Curator è NeMo Aligner per i mudelli Multimodali hè un travagliu in corsu è serà dispunibule assai prestu.

FAQ

D: Cumu possu verificà se u mo sistema hè affettatu da a vulnerabilità?
A: Pudete verificà s'ellu u vostru sistema hè affettatu verificendu a versione di NVIDIA NeMo Framework installata. S'ella hè sottu à a versione 24, u vostru sistema pò esse vulnerabile.

D: Quale hà signalatu u prublema di sicurezza CVE-2025-23360?
A: U prublema di sicurezza hè statu signalatu da Or Peles - JFrog Security. NVIDIA ricunnosce u so cuntributu.

D: Cumu possu riceve notifiche di bulletini di sicurezza in u futuru?
A: Visitate a pagina di Sicurezza di u Produttu NVIDIA per abbunà vi à e notifiche di i bulletini di sicurezza è stà infurmatu nantu à l'aghjurnamenti di sicurezza di u produttu.

Documenti / Risorse

NVIDIA NeMo Framework [pdfGuida di l'utente Quadru NeMo, NeMo, Quadru

Referenze

• Manuale d'usu