Mfumo wa NVIDIA NeMo

Vipimo

• Jina la Bidhaa: Mfumo wa NVIDIA NeMo
• Mifumo Iliyoathiriwa: Windows, Linux, macOS
• Matoleo Yanayoathiriwa: Matoleo yote kabla ya 24
• Athari za Usalama: CVE-2025-23360
• Alama ya Msingi ya Tathmini ya Hatari: 7.1 (CVSS v3.1)

Maagizo ya Matumizi ya Bidhaa

Ufungaji wa Usasisho wa Usalama:
Ili kulinda mfumo wako, fuata hatua hizi:

1. Pakua toleo jipya zaidi kutoka kwa ukurasa wa Matoleo ya NeMo-Framework-Launcher kwenye GitHub.
2. Nenda kwa Usalama wa Bidhaa wa NVIDIA kwa maelezo zaidi.

Maelezo ya Usasisho wa Usalama:
Sasisho la usalama linashughulikia athari katika Mfumo wa NVIDIA NeMo ambayo inaweza kusababisha utekelezaji wa nambari na data t.ampering.

Kuboresha Programu:
Ikiwa unatumia toleo la awali la tawi, inashauriwa kupata toleo jipya zaidi la tawi ili kushughulikia suala la usalama.

Zaidiview

Mfumo wa NVIDIA NeMo ni mfumo wa AI unaoweza kuenea na wa asili wa wingu ulioundwa kwa ajili ya watafiti na watengenezaji wanaofanya kazi. Miundo mikubwa ya Lugha, Multimodal, na Hotuba AI (km Utambuzi wa Usemi otomatiki na Maandishi-kwa-Hotuba) Huwawezesha watumiaji kuunda, kubinafsisha, na kupeleka miundo mipya ya AI inayozalisha kwa kutumia msimbo uliopo na vituo vya ukaguzi vya miundo iliyofunzwa mapema.

Maagizo ya Kuweka: Sakinisha Mfumo wa NeMo

Miundo Kubwa ya Lugha na Miundo ya Multimodal
NeMo Framework hutoa usaidizi wa mwisho hadi mwisho kwa kutengeneza Miundo Kubwa ya Lugha (LLMs) na Miundo ya Multimodal (MMs). Inatoa unyumbulifu wa kutumiwa kwenye majengo, katika kituo cha data, au na mtoa huduma wako wa mtandao unaopendelea. Pia inasaidia utekelezaji kwenye mazingira yaliyowezeshwa ya SLURM au Kubernetes.

Utunzaji wa Data
Mtunzaji wa NeMo [1] ni maktaba ya Python ambayo inajumuisha safu ya moduli za uchimbaji wa data na utengenezaji wa data ya syntetisk. Zinaweza kubadilika na kuboreshwa kwa ajili ya GPU, hivyo kuzifanya ziwe bora kwa kutunza data ya lugha asilia ili kutoa mafunzo au kurekebisha LLM. Ukiwa na Nemo Curator, unaweza kutoa maandishi ya ubora wa juu kutoka ghafi nyingi web vyanzo vya data.

Mafunzo na Ubinafsishaji

Mfumo wa NeMo hutoa zana za mafunzo bora na ubinafsishaji wa LLMs na mifano ya Multimodal. Inajumuisha usanidi chaguo-msingi wa usanidi wa nguzo wa kukokotoa, upakuaji wa data, na vigezo vya muundo, ambavyo vinaweza kubadilishwa ili kutoa mafunzo kwenye seti mpya za data na miundo. Kando na mafunzo ya awali, NeMo inaauni mbinu za Urekebishaji Uzuri Unaosimamiwa (SFT) na Mbinu za Urekebishaji Bora wa Parameta (PEFT) kama vile LoRA, Ptuning, na zaidi.

Chaguo mbili zinapatikana ili kuzindua mafunzo katika NeMo - kwa kutumia kiolesura cha API cha NeMo 2.0 au kwa NeMo Run.

• Na NeMo Run (Inapendekezwa): NeMo Run hutoa kiolesura cha kurahisisha usanidi, utekelezaji na usimamizi wa majaribio katika mazingira mbalimbali ya kukokotoa. Hii ni pamoja na kuzindua kazi kwenye kituo chako cha kazi ndani au kwenye vikundi vikubwa - SLURM imewezeshwa au Kubernetes katika mazingira ya wingu.
  • Mafunzo ya awali & PEFT Quickstart na NeMo Run
• Kutumia API ya NeMo 2.0: Njia hii inafanya kazi vizuri na usanidi rahisi unaohusisha mifano ndogo, au ikiwa una nia ya kuandika kipakiaji chako cha data maalum, vitanzi vya mafunzo, au kubadilisha tabaka za mfano. Inakupa urahisi zaidi na udhibiti wa usanidi, na hurahisisha kupanua na kubinafsisha usanidi kiprogramu.
  • Training Quickstart na NeMo 2.0 API
  • Inahama kutoka NeMo 1.0 hadi NeMo 2.0 API

Mpangilio

• NeMo-Aligner [1] ni zana inayoweza kupanuka kwa upatanishi bora wa muundo. Kifurushi cha zana kinaweza kutumia algoriti za upatanishi wa hali ya juu kama vile SteerLM, DPO, Kuimarisha Mafunzo kutoka kwa Maoni ya Binadamu (RLHF), na mengine mengi. Kanuni hizi huwezesha watumiaji kupangilia miundo ya lugha ili ziwe salama zaidi, zisizo na madhara na kusaidia.
• Vituo vyote vya ukaguzi vya NeMo-Aligner vinaendana na mfumo ikolojia wa NeMo, hivyo basi kuruhusu ubinafsishaji zaidi na utumiaji wa maelekezo.

Mtiririko wa hatua kwa hatua wa awamu zote tatu za RLHF kwenye modeli ndogo ya GPT-2B:

• Mafunzo ya SFT
• Mafunzo ya mfano wa tuzo
• Mafunzo ya PPO

Kwa kuongezea, tunaonyesha usaidizi kwa njia zingine tofauti za upatanishi wa riwaya:

• DPO: algoriti ya upatanishi nyepesi ikilinganishwa na RLHF yenye utendaji rahisi wa upotevu.
• Kujichezea Urekebishaji Mzuri (SPIN)
• SteerLM: mbinu kulingana na conditioned-SFT, na pato steerable.

Angalia nyaraka kwa habari zaidi: Nyaraka za Alignment

Mifano ya Multimodal

• NeMo Framework hutoa programu iliyoboreshwa ya kufunza na kupeleka miundo ya hali ya juu zaidi katika kategoria kadhaa: Miundo ya Lugha Multimodal, Misingi ya Lugha ya Maono, miundo ya Kutuma Maandishi hadi Picha na zaidi ya Kizazi cha 2D kwa kutumia Sehemu za Neural Radiance (NeRF).
• Kila kategoria imeundwa ili kukidhi mahitaji na maendeleo mahususi katika nyanja hiyo, kwa kutumia miundo ya kisasa kushughulikia aina mbalimbali za data, ikiwa ni pamoja na maandishi, picha na miundo ya 3D.

Usambazaji na Uelekezaji
Mfumo wa NeMo hutoa njia mbalimbali za uelekezaji wa LLM, ikizingatia hali tofauti za upelekaji na mahitaji ya utendaji.

Sambaza ukitumia NVIDIA NIM

• NeMo Framework inaunganishwa kwa urahisi na zana za uwekaji muundo wa kiwango cha biashara kupitia NVIDIA NIM. Muunganisho huu unaendeshwa na NVIDIA TensorRT-LLM, kuhakikisha ufahamu ulioboreshwa na unaoweza kupanuka.
• Kwa habari zaidi kuhusu NIM, tembelea NVIDIA webtovuti.

Sambaza kwa TensorRT-LLM au vLLM

• NeMo Framework inatoa hati na API za kusafirisha modeli kwa maktaba mbili zilizoboreshwa za uelekezaji, TensorRT-LLM na vLLM, na kupeleka muundo uliosafirishwa na Seva ya Maelekezo ya NVIDIA Triton.
• Kwa hali zinazohitaji utendakazi ulioboreshwa, miundo ya NeMo inaweza kutumia TensorRT-LLM, maktaba maalumu ya kuharakisha na kuboresha uelekezaji wa LLM kwenye NVIDIA GPU. Mchakato huu unahusisha kubadilisha miundo ya NeMo kuwa umbizo linalooana na TensorRT-LLM kwa kutumia moduli ya nemo.export.
  • Usambazaji wa LLM Umekwishaview
  • Tumia Miundo ya Lugha Kubwa ya NeMo kwa NIM
  • Tumia Miundo ya Lugha Kubwa ya NeMo ukitumia TensorRT-LLM
  • Tumia Miundo ya Lugha Kubwa ya NeMo na vLLM

Mifano Zinazotumika

Miundo mikubwa ya Lugha

Miundo mikubwa ya Lugha

Miundo mikubwa ya Lugha	Mafunzo ya awali & SFT	PEFT	Mpangilio	Muunganisho wa Mafunzo wa FP8	TRT/TRTLLM	Geuza Kuwa & Kutoka kwa Uso wa Kukumbatiana	Tathmini
Llama3 8B/70B, Llama3.1 405B	Ndiyo	Ndiyo	x	Ndiyo (imethibitishwa kwa kiasi)	Ndiyo	Zote mbili	Ndiyo
Mchanganyiko 8x7B/8x22B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	Ndiyo	Zote mbili	Ndiyo
Nemotroni 3 8B	Ndiyo	x	x	Ndiyo (haijathibitishwa)	x	Zote mbili	Ndiyo
Nemotroni 4 340B	Ndiyo	x	x	Ndiyo (haijathibitishwa)	x	Zote mbili	Ndiyo
Baichuan2 7B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	x	Zote mbili	Ndiyo
GumzoGLM3 6B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	x	Zote mbili	Ndiyo
Gemma 2B/7B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	Ndiyo	Zote mbili	Ndiyo
Gemma2 2B/9B/27B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	x	Zote mbili	Ndiyo
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	x	x	Ndiyo
Phi3 mini 4k	x	Ndiyo	x	Ndiyo (haijathibitishwa)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	Ndiyo	Zote mbili	Ndiyo
StarCoder 15B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	Ndiyo	Zote mbili	Ndiyo
StarCoder2 3B/7B/15B	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	Ndiyo	Zote mbili	Ndiyo
BERT 110M/340M	Ndiyo	Ndiyo	x	Ndiyo (haijathibitishwa)	x	Zote mbili	x
T5 220M/3B/11B	Ndiyo	Ndiyo	x	x	x	x	x

 

Vielelezo vya Lugha ya Maono

 

Miundo ya Kupachika

 

Miundo ya Msingi ya Dunia

Kumbuka
NeMo pia inasaidia utayarishaji wa mapema kwa usanifu wa uenezaji na usanifu unaoendelea text2world mifano ya msingi.

Hotuba AI

Kukuza miundo ya mazungumzo ya AI ni mchakato changamano unaohusisha kufafanua, kuunda, na mafunzo ya miundo ndani ya vikoa fulani. Utaratibu huu kwa kawaida huhitaji marudio kadhaa ili kufikia kiwango cha juu cha usahihi. Mara nyingi huhusisha marudio mengi ili kufikia usahihi wa hali ya juu, kurekebisha vyema kazi mbalimbali na data mahususi ya kikoa, kuhakikisha utendakazi wa mafunzo, na kuandaa miundo ya uwekaji maelekezo.

Mfumo wa NeMo hutoa usaidizi kwa mafunzo na ubinafsishaji wa miundo ya Hotuba ya AI. Hii inajumuisha kazi kama vile Utambuzi wa Usemi Kiotomatiki (ASR) na usanisi wa Maandishi-Kwa-Hotuba (TTS). Inatoa mpito mzuri kwa usambazaji wa uzalishaji wa kiwango cha biashara na NVIDIA Riva. Ili kusaidia wasanidi programu na watafiti, Mfumo wa NeMo unajumuisha vituo vya ukaguzi vya hali ya juu vilivyofunzwa awali, zana za kuchakata data ya matamshi inayoweza kutolewa tena, na vipengele vya uchunguzi shirikishi na uchanganuzi wa seti za data za usemi. Vipengee vya Mfumo wa NeMo wa Hotuba AI ni kama ifuatavyo:

Mafunzo na Ubinafsishaji
Mfumo wa NeMo una kila kitu kinachohitajika ili kutoa mafunzo na kubinafsisha miundo ya hotuba (ASR, Uainishaji wa Hotuba, Utambuzi wa Spika, Kuongeza sauti kwa Spika, na TTS) kwa namna inayoweza kuzaliana.

Miundo ya SOTA iliyofunzwa mapema

• NeMo Framework hutoa mapishi ya hali ya juu na vituo vya ukaguzi vilivyofunzwa awali vya kadhaa ASR na TTS mifano, pamoja na maagizo ya jinsi ya kuzipakia.
• Zana za Kuzungumza
• Mfumo wa NeMo hutoa seti ya zana muhimu kwa kutengeneza miundo ya ASR na TTS, ikijumuisha:
  • Nemo Forced Aligner (NFA) kwa ajili ya kuzalisha tokeni-, neno- na nyakati za kiwango cha sehemuampmatamshi katika sauti kwa kutumia miundo ya Utambuzi wa Usemi Kiotomatiki ya NeMo ya CTC.
  • Kichakataji Data ya Matamshi (SDP), zana ya kurahisisha uchakataji wa data ya usemi. Inakuruhusu kuwakilisha shughuli za usindikaji wa data katika usanidi file, kupunguza msimbo wa sahani na kuruhusu uzalishwaji na ushirikishwaji.
  • Speech Data Explorer (SDE), msingi wa Dashi web maombi ya uchunguzi shirikishi na uchanganuzi wa seti za data za usemi.
  • Zana ya kuunda seti ya data ambayo hutoa utendakazi wa kusawazisha sauti ndefu files na nakala zinazolingana na zigawanye katika vipande vifupi ambavyo vinafaa kwa mafunzo ya kielelezo ya Utambuzi wa Usemi Kiotomatiki (ASR).
  • Chombo cha Kulinganisha kwa Miundo ya ASR ili kulinganisha ubashiri wa miundo tofauti ya ASR katika usahihi wa maneno na kiwango cha matamshi.
  • Mtathimini wa ASR kwa ajili ya kutathmini utendakazi wa miundo ya ASR na vipengele vingine kama vile Kutambua Shughuli za Sauti.
  • Zana ya Kurekebisha Maandishi kwa kubadilisha maandishi kutoka kwa maandishi hadi ya mazungumzo na kinyume chake (kwa mfano, "31" dhidi ya "thelathini na moja").
• Njia ya Usambazaji
• Miundo ya NeMo ambayo imefunzwa au kubinafsishwa kwa kutumia Mfumo wa NeMo inaweza kuboreshwa na kutumwa kwa NVIDIA Riva. Riva hutoa kontena na chati za Helm iliyoundwa mahsusi kugeuza hatua kiotomatiki za uwekaji wa kitufe cha kushinikiza.

Rasilimali Nyingine

GitHub Repos

• NeMo: Hazina kuu ya Mfumo wa NeMo
• NeMo–Kimbia: Zana ya kusanidi, kuzindua na kudhibiti majaribio yako ya kujifunza mashine.
• NeMo-Aligner: Seti ya zana inayoweza kuongezeka kwa upangaji bora wa muundo
• NeMo-Curator: Uchakataji wa mapema wa data na zana za kuratibu za LLMs

Kupata Msaada
Shirikiana na jumuiya ya NeMo, uliza maswali, pata usaidizi, au uripoti hitilafu.

• Majadiliano ya NeMo
• Masuala ya NeMo

Lugha za Kupanga na Mifumo

• Chatu: Kiolesura kikuu cha kutumia Mfumo wa NeMo
• Pitochi: Mfumo wa NeMo umejengwa juu ya PyTorch

Leseni

• NeMo Github repo imepewa leseni chini ya leseni ya Apache 2.0
• NeMo Framework imepewa leseni chini ya NVIDIA AI PRODUCT AGREEMENT. Kwa kuvuta na kutumia kontena, unakubali sheria na masharti ya leseni hii.
• Chombo cha NeMo Framework kina nyenzo za Llama zinazosimamiwa na Makubaliano ya Leseni ya Jumuiya ya Meta Llama3.

Tanbihi
Kwa sasa, usaidizi wa Nemo Curator na NeMo Aligner kwa miundo ya Multimodal ni kazi inayoendelea na itapatikana hivi karibuni.

Maswali Yanayoulizwa Mara kwa Mara

Swali: Ninawezaje kuangalia ikiwa mfumo wangu umeathiriwa na athari?
J: Unaweza kuangalia ikiwa mfumo wako umeathiriwa kwa kuthibitisha toleo la Mfumo wa NVIDIA NeMo uliosakinishwa. Ikiwa iko chini ya toleo la 24, mfumo wako unaweza kuwa hatarini.

Swali: Nani aliripoti suala la usalama CVE-2025-23360?
J: Suala la usalama liliripotiwa na Or Peles - JFrog Security. NVIDIA inatambua mchango wao.

Swali: Ninawezaje kupokea arifa za taarifa za usalama siku zijazo?
A: Tembelea ukurasa wa Usalama wa Bidhaa wa NVIDIA ili kujiandikisha kupokea arifa za usalama na uendelee kupata taarifa kuhusu masasisho ya usalama wa bidhaa.

Nyaraka / Rasilimali

Mfumo wa NVIDIA NeMo [pdf] Mwongozo wa Mtumiaji Mfumo wa NeMo, NeMo, Mfumo

Marejeleo

• Mwongozo wa Mtumiaji