NVIDIA NeMo Framework

Tæknilýsing

• Vöruheiti: NVIDIA NeMo Framework
• Áhrifavalir: Windows, Linux, macOS
• Útgáfur sem hafa áhrif: Allar útgáfur fyrir 24
• Öryggisveikleiki: CVE-2025-23360
• Grunnstig áhættumats: 7.1 (CVSS v3.1)

Notkunarleiðbeiningar fyrir vöru

Uppsetning öryggisuppfærslu:
Til að vernda kerfið þitt skaltu fylgja þessum skrefum:

1. Sæktu nýjustu útgáfuna af NeMo-Framework-Launcher útgáfusíðunni á GitHub.
2. Farðu í NVIDIA vöruöryggi til að fá frekari upplýsingar.

Upplýsingar um öryggisuppfærslu:
Öryggisuppfærslan tekur á veikleika í NVIDIA NeMo Framework sem gæti leitt til keyrslu kóða og gagnaflutnings.ampering.

Hugbúnaðaruppfærsla:
Ef þú ert að nota eldri útibúsútgáfu er mælt með því að uppfæra í nýjustu útibúsútgáfuna til að leysa öryggisvandamálið.

Yfirview

NVIDIA NeMo Framework er stigstærð og skýjamætt kynslóð gervigreindarrammi sem er smíðaður fyrir vísindamenn og forritara sem vinna að Stór tungumálalíkön, Multimodal, og Tal AI (td Sjálfvirk talgreining og Texti í tal). Það gerir notendum kleift að búa til, sérsníða og dreifa nýjum gervigreindum líkönum á skilvirkan hátt með því að nýta núverandi kóða og forþjálfaða eftirlitsstöðvar líkana.

Uppsetningarleiðbeiningar: Settu upp NeMo Framework

Stór tungumálalíkön og fjölþætt líkön
NeMo Framework veitir enda-til-enda stuðning við að þróa stór tungumálalíkön (LLMs) og Multimodal Models (MMs). Það veitir sveigjanleika til að nota á staðnum, í gagnaveri eða hjá skýjaveitunni sem þú vilt. Það styður einnig framkvæmd á SLURM eða Kubernetes virkt umhverfi.

Gagnasöfnun
NeMo sýningarstjóri [1] er Python bókasafn sem inniheldur föruneyti af einingum fyrir gagnavinnslu og tilbúna gagnaframleiðslu. Þau eru stigstærð og fínstillt fyrir GPU, sem gerir þau tilvalin til að safna náttúrulegum gögnum til að þjálfa eða fínstilla LLM. Með NeMo Curator geturðu á skilvirkan hátt dregið út hágæða texta úr umfangsmiklum hráefni web gagnaheimildir.

Þjálfun og aðlögun

NeMo Framework veitir verkfæri til skilvirkrar þjálfunar og sérsníða LLM og Multimodal módel. Það felur í sér sjálfgefna stillingar fyrir uppsetningu tölvuklasa, niðurhal gagna og ofurfæribreytur líkana, sem hægt er að breyta til að þjálfa á nýjum gagnasöfnum og líkönum. Auk forþjálfunar styður NeMo bæði Supervised Fine-Tuning (SFT) og Parameter Efficient Fine-Tuning (PEFT) tækni eins og LoRA, Ptuning og fleira.

Tveir valkostir eru í boði til að hefja þjálfun í NeMo – með því að nota NeMo 2.0 API viðmótið eða með NeMo Run.

• Með NeMo Run (ráðlagt): NeMo Run býður upp á viðmót til að hagræða uppsetningu, framkvæmd og stjórnun tilrauna í ýmsum tölvuumhverfi. Þetta felur í sér að ræsa störf á vinnustöðinni þinni á staðnum eða á stórum klösum – bæði SLURM virkt eða Kubernetes í skýjaumhverfi.
  • Forþjálfun og PEFT Quickstart með NeMo Run
• Notkun NeMo 2.0 API: Þessi aðferð virkar vel með einfaldri uppsetningu sem felur í sér lítil líkön, eða ef þú hefur áhuga á að skrifa eigin sérsniðna gagnahleðslutæki, þjálfunarlykkjur eða breyta líkanalögum. Það veitir þér meiri sveigjanleika og stjórn á stillingum og gerir það auðvelt að stækka og sérsníða stillingar forritunarlega.
  • Training Quickstart með NeMo 2.0 API
  • Flutningur frá NeMo 1.0 í NeMo 2.0 API

Jöfnun

• NeMo-Aligner [1] er stigstærð verkfærasett fyrir skilvirka röðun líkana. Verkfærakistan hefur stuðning fyrir fullkomnustu reiknirit fyrir röðun líkana eins og SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) og margt fleira. Þessi reiknirit gera notendum kleift að samræma tungumálalíkön til að vera öruggari, skaðlausari og gagnlegri.
• Allir NeMo-Aligner eftirlitsstöðvarnar eru krosssamhæfðar NeMo vistkerfið, sem gerir ráð fyrir frekari sérsniðnum og ályktunardreifingu.

Skref fyrir skref vinnuflæði allra þriggja fasa RLHF á litlu GPT-2B líkani:

• SFT þjálfun
• Verðlauna fyrirmyndarþjálfun
• PPO þjálfun

Að auki sýnum við stuðning við ýmsar aðrar nýjar aðferðir við aðlögun:

• DPO: Létt röðunaralgrím miðað við RLHF með einfaldari tapaðgerð.
• Sjálfspilun Fínstilling (SPIN)
• SteerLM: tækni sem byggir á skilyrt-SFT, með stýranlega útgangi.

Skoðaðu skjölin fyrir frekari upplýsingar: Jöfnunarskjöl

Multimodal Models

• NeMo Framework býður upp á fínstilltan hugbúnað til að þjálfa og dreifa nýjustu fjölþættum gerðum í nokkrum flokkum: Multimodal Language Models, Vision-Language Foundations, Text-to-Image módel og umfram 2D ​​Generation með Neural Radiance Fields (NeRF).
• Hver flokkur er hannaður til að koma til móts við sérstakar þarfir og framfarir á þessu sviði, nýta háþróaða líkön til að takast á við fjölbreytt úrval gagnategunda, þar á meðal texta, myndir og þrívíddarlíkön.

Dreifing og ályktun
NeMo Framework býður upp á ýmsar leiðir fyrir LLM ályktanir, sem kemur til móts við mismunandi dreifingarsvið og frammistöðuþarfir.

Settu upp með NVIDIA NIM

• NeMo Framework samþættist óaðfinnanlega við dreifingartæki á fyrirtækisstigi í gegnum NVIDIA NIM. Þessi samþætting er knúin áfram af NVIDIA TensorRT-LLM, sem tryggir bjartsýni og stigstærð ályktun.
• Fyrir frekari upplýsingar um NIM, farðu á NVIDIA websíða.

Dreifa með TensorRT-LLM eða vLLM

• NeMo Framework býður upp á forskriftir og API til að flytja líkön út í tvö ályktunarbjartsýni bókasöfn, TensorRT-LLM og vLLM, og til að nota útflutta líkanið með NVIDIA Triton Inference Server.
• Fyrir aðstæður sem krefjast bjartsýni geta NeMo líkön nýtt TensorRT-LLM, sérhæft bókasafn til að flýta fyrir og hagræða LLM ályktun á NVIDIA GPU. Þetta ferli felur í sér að breyta NeMo gerðum í snið sem er samhæft við TensorRT-LLM með því að nota nemo.export eininguna.
  • LLM dreifing lokiðview
  • Settu upp NeMo Large Language Models með NIM
  • Settu upp NeMo Large Language Models með TensorRT-LLM
  • Settu upp NeMo Large Language Models með vLLM

Stuðlar gerðir

Stór tungumálalíkön

Stór tungumálalíkön

Stór tungumálalíkön	Forþjálfun & SFT	PEFT	Jöfnun	FP8 Þjálfun samleitni	TRT/TRTLLM	Umbreyttu í og ​​úr faðmandi andliti	Mat
Lama3 8B/70B, Lama3.1 405B	Já	Já	x	Já (staðfest að hluta)	Já	Bæði	Já
Mixtral 8x7B/8x22B	Já	Já	x	Já (óstaðfest)	Já	Bæði	Já
Nemotron 3 8B	Já	x	x	Já (óstaðfest)	x	Bæði	Já
Nemotron 4 340B	Já	x	x	Já (óstaðfest)	x	Bæði	Já
Baichuan2 7B	Já	Já	x	Já (óstaðfest)	x	Bæði	Já
ChatGLM3 6B	Já	Já	x	Já (óstaðfest)	x	Bæði	Já
Gemma 2B/7B	Já	Já	x	Já (óstaðfest)	Já	Bæði	Já
Gemma2 2B/9B/27B	Já	Já	x	Já (óstaðfest)	x	Bæði	Já
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Já	Já	x	Já (óstaðfest)	x	x	Já
Phi3 mini 4k	x	Já	x	Já (óstaðfest)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Já	Já	x	Já (óstaðfest)	Já	Bæði	Já
StarCoder 15B	Já	Já	x	Já (óstaðfest)	Já	Bæði	Já
StarCoder2 3B/7B/15B	Já	Já	x	Já (óstaðfest)	Já	Bæði	Já
BERT 110M/340M	Já	Já	x	Já (óstaðfest)	x	Bæði	x
T5 220M/3B/11B	Já	Já	x	x	x	x	x

 

Vision Language Models

 

Innfelling módel

 

World Foundation Models

Athugið
NeMo styður einnig forþjálfun fyrir bæði dreifingu og sjálfvirka arkitektúr text2world grunnlíkön.

Tal AI

Að þróa gervigreindarlíkön fyrir samtal er flókið ferli sem felur í sér að skilgreina, smíða og þjálfa líkön innan ákveðinna sviða. Þetta ferli þarf venjulega nokkrar endurtekningar til að ná mikilli nákvæmni. Það felur oft í sér margar endurtekningar til að ná mikilli nákvæmni, fínstilla ýmis verkefni og lénssértæk gögn, tryggja þjálfunarframmistöðu og undirbúa líkön fyrir ályktunardreifingu.

NeMo Framework veitir stuðning við þjálfun og aðlögun speech AI módel. Þetta felur í sér verkefni eins og Automatic Speech Recognition (ASR) og Text-To-Speech (TTS) myndun. Það býður upp á slétt umskipti yfir í framleiðsluuppsetningu á fyrirtækisstigi með NVIDIA Riva. Til að aðstoða þróunaraðila og rannsakendur inniheldur NeMo Framework háþróaða fyrirfram þjálfaða eftirlitsstaði, verkfæri til að endurgera talgagnavinnslu og eiginleika fyrir gagnvirka könnun og greiningu á talgagnasettum. Íhlutir NeMo Framework for Speech AI eru sem hér segir:

Þjálfun og aðlögun
NeMo Framework inniheldur allt sem þarf til að þjálfa og sérsníða tallíkön (ASR, Talflokkun, Viðurkenning hátalara, Dagskrá hátalara, og TTS) á margfaldan hátt.

SOTA forþjálfaðar módel

• NeMo Framework býður upp á nýjustu uppskriftir og fyrirfram þjálfaða eftirlitsstöðvar af nokkrum ASR og TTS módel, auk leiðbeininga um hvernig á að hlaða þær.
• Talverkfæri
• NeMo Framework býður upp á verkfæri sem eru gagnleg til að þróa ASR og TTS módel, þar á meðal:
  • NeMo Forced Aligner (NFA) til að búa til tákn-, orð- og hluta-stigs tímastýringuamps af ræðu í hljóði með því að nota NeMo's CTC-undirstaða sjálfvirka talgreiningarlíkön.
  • Talgagnavinnsla (SDP), verkfærakista til að einfalda úrvinnslu talgagna. Það gerir þér kleift að tákna gagnavinnsluaðgerðir í stillingu file, lágmarkar ketilskóða og gerir kleift að endurskapa og deila.
  • Speech Data Explorer (SDE), sem byggir á Dash web forrit fyrir gagnvirka könnun og greiningu á talgagnasettum.
  • Tól til að búa til gagnasett sem veitir virkni til að samræma langt hljóð files með tilheyrandi afritum og skiptu þeim í styttri brot sem henta fyrir sjálfvirka talgreiningu (ASR) líkanþjálfun.
  • Samanburðartæki fyrir ASR líkön til að bera saman spár um mismunandi ASR líkön á orða nákvæmni og framburði.
  • ASR matsmaður til að meta frammistöðu ASR líkana og annarra eiginleika eins og raddvirknigreiningu.
  • Textanormalization Tool til að breyta texta úr rituðu formi yfir í talað form og öfugt (td „31.“ vs „XNUMX.“ á móti „þrjátíu og fyrsta“).
• Leið til dreifingar
• NeMo gerðir sem hafa verið þjálfaðar eða sérsniðnar með NeMo Framework er hægt að fínstilla og nota með NVIDIA Riva. Riva útvegar gáma og Helm töflur sem eru sérstaklega hönnuð til að gera sjálfvirk skref fyrir uppsetningu hnappa.

Önnur auðlind

GitHub Repos

• NeMo: Aðalgeymslan fyrir NeMo Framework
• NeMo–Hlaupa: Tól til að stilla, ræsa og stjórna vélanámstilraunum þínum.
• NeMo-Aligner: Skalanlegt verkfærasett fyrir skilvirka röðun líkana
• NeMo-sýningarstjóri: Skalanleg gagnaforvinnsla og söfnunarverkfærasett fyrir LLM

Að fá hjálp
Taktu þátt í NeMo samfélaginu, spurðu spurninga, fáðu aðstoð eða tilkynntu villur.

• NeMo umræður
• NeMo mál

Forritunarmál og rammar

• Python: Aðalviðmótið til að nota NeMo Framework
• Pytorch: NeMo Framework er byggt ofan á PyTorch

Leyfi

• NeMo Github endurhverfur er með leyfi samkvæmt Apache 2.0 leyfinu
• NeMo Framework er með leyfi samkvæmt NVIDIA AI PRODUCT SAMNINGINUM. Með því að draga og nota ílátið samþykkir þú skilmála og skilyrði þessa leyfis.
• NeMo Framework gámurinn inniheldur Llama efni sem er stjórnað af Meta Llama3 samfélagsleyfissamningnum.

Neðanmálsgreinar
Eins og er er stuðningur NeMo Curator og NeMo Aligner fyrir Multimodal módel í vinnslu og verður fáanlegur mjög fljótlega.

Algengar spurningar

Sp.: Hvernig get ég athugað hvort kerfið mitt sé fyrir áhrifum af varnarleysinu?
A: Þú getur athugað hvort kerfið þitt sé fyrir áhrifum með því að staðfesta útgáfu NVIDIA NeMo Framework sem er uppsett. Ef það er undir útgáfu 24 gæti kerfið þitt verið viðkvæmt.

Sp.: Hver tilkynnti um öryggisvandamálið CVE-2025-23360?
A: Öryggisvandamálið var tilkynnt af Or Peles – JFrog Security. NVIDIA viðurkennir framlag þeirra.

Sp.: Hvernig get ég fengið tilkynningar um öryggisfréttir í framtíðinni?
A: Farðu á NVIDIA vöruöryggissíðuna til að gerast áskrifandi að öryggistilkynningum og vera upplýstur um öryggisuppfærslur vöru.

Skjöl / auðlindir

NVIDIA NeMo Framework [pdfNotendahandbók NeMo Framework, NeMo, Framework

Heimildir

• Notendahandbók