Рамка NVIDIA NeMo

Спецификации

• Име на производ: Рамка NVIDIA NeMo
• Засегнати платформи: Windows, Linux, macOS
• Погодени верзии: Сите верзии пред 24
• Безбедносна ранливост: CVE-2025-23360
• Основен резултат за проценка на ризик: 7.1 (CVSS v3.1)

Упатство за употреба на производот

Инсталација на безбедносно ажурирање:
За да го заштитите вашиот систем, следете ги овие чекори:

1. Преземете го најновото издание од страницата NeMo-Framework-Launcher Releases на GitHub.
2. Одете во NVIDIA Product Security за дополнителни информации.

Детали за безбедносно ажурирање:
Безбедносното ажурирање се однесува на ранливоста во NVIDIA NeMo Framework што може да доведе до извршување на код и податоци tampеренг.

Надградба на софтвер:
Ако користите претходно издание на филијалата, се препорачува да се надградите на најновото издание на филијалата за да се реши безбедносниот проблем.

Во текот наview

NVIDIA NeMo Framework е скалабилна и генеративна рамка за вештачка интелигенција која е генерирана во облак, изградена за истражувачи и програмери кои работат на Големи јазични модели, Мултимодални и Говорна вештачка интелигенција (на пр Автоматско препознавање на говор и Текст во говор). Тоа им овозможува на корисниците ефикасно да креираат, приспособат и распоредуваат нови генеративни модели со вештачка интелигенција со користење на постоечки код и претходно обучени контролни точки за модели.

Инструкции за поставување: Инсталирајте го NeMo Framework

Големи јазични модели и мултимодални модели
NeMo Framework обезбедува поддршка од крај до крај за развој на модели на големи јазици (LLM) и мултимодални модели (MM). Обезбедува флексибилност да се користи во просториите, во податочен центар или со претпочитаниот облак провајдер. Исто така, поддржува извршување на средини овозможени SLURM или Kubernetes.

Курирање на податоци
Куратор на NeMo [1] е библиотека на Python која вклучува пакет од модули за ископување податоци и синтетички генерирање податоци. Тие се скалабилни и оптимизирани за графички процесори, што ги прави идеални за курирање на податоци од природен јазик за обука или дотерување LLM. Со NeMo Curator, можете ефикасно да извлечете висококвалитетен текст од обемен необработен web извори на податоци.

Обука и прилагодување

NeMo Framework обезбедува алатки за ефикасна обука и прилагодување на LLMs и мултимодални модели. Вклучува стандардни конфигурации за поставување на компјутерски кластери, преземање податоци и хиперпараметри на моделот, кои може да се прилагодат за да се обучуваат за нови збирки на податоци и модели. Покрај пред-тренингот, NeMo поддржува и техники за надгледувано фино подесување (SFT) и за ефикасно прилагодување на параметрите (PEFT) како LoRA, Ptuning и многу повеќе.

Достапни се две опции за започнување на обука во NeMo – со користење на интерфејсот NeMo 2.0 API или со NeMo Run.

• Со NeMo Run (препорачано): NeMo Run обезбедува интерфејс за насочување на конфигурацијата, извршувањето и управувањето со експериментите низ различни компјутерски средини. Ова вклучува стартување на работни места на вашата работна станица локално или на големи кластери - и овозможено SLURM или Kubernetes во опкружување облак.
  • Пред-тренинг и PEFT брз старт со NeMo Run
• Користење на NeMo 2.0 API: Овој метод работи добро со едноставно поставување што вклучува мали модели, или ако сте заинтересирани да напишете свој сопствен податочен вчитувач, циклуси за обука или да ги промените слоевите на моделот. Тоа ви дава поголема флексибилност и контрола врз конфигурациите и го олеснува програмски проширувањето и прилагодувањето на конфигурациите.
  • Травоведување Quickstart со NeMo 2.0 API
  • Мигрирање од NeMo 1.0 на NeMo 2.0 API

Порамнување

• NeMo-Aligner [1] е скалабилен комплет алатки за ефикасно усогласување на моделите. Комплетот со алатки има поддршка за најсовремени алгоритми за усогласување на модели како што се SteerLM, DPO, Зајакнување учење од човечки повратни информации (RLHF) и многу повеќе. Овие алгоритми им овозможуваат на корисниците да ги усогласат јазичните модели за да бидат побезбедни, безопасни и покорисни.
• Сите контролни точки NeMo-Aligner се вкрстено компатибилни со екосистемот NeMo, што овозможува дополнително прилагодување и распоредување на заклучоци.

Чекор-по-чекор работен тек на сите три фази на RLHF на мал модел GPT-2B:

• SFT тренинг
• Обука за модел на награда
• Обука за ЈПО

Дополнително, демонстрираме поддршка за разни други нови методи за усогласување:

• ДПО: лесен алгоритам за порамнување во споредба со RLHF со поедноставна функција за губење.
• Самоиграње Фино подесување (СПИН)
• SteerLM: техника базирана на условен-SFT, со управувачки излез.

Проверете ја документацијата за повеќе информации: Документација за усогласување

Мултимодални модели

• NeMo Framework обезбедува оптимизиран софтвер за обука и распоредување на најсовремени мултимодални модели во неколку категории: Мултимодални јазични модели, Основи на Vision-Language, модели од текст-во-слика и надвор од 2D генерација користејќи полиња за невронски зрачење (NeRF).
• Секоја категорија е дизајнирана да ги задоволи специфичните потреби и напредокот на теренот, искористувајќи ги најсовремените модели за справување со широк опсег на типови на податоци, вклучувајќи текст, слики и 3D модели.

Распоредување и заклучок
NeMo Framework обезбедува различни патеки за заклучување на LLM, задоволувајќи различни сценарија за распоредување и потреби за изведба.

Распоредете со NVIDIA NIM

• NeMo Framework беспрекорно се интегрира со алатките за распоредување модели на ниво на претпријатие преку NVIDIA NIM. Оваа интеграција се напојува со NVIDIA TensorRT-LLM, обезбедувајќи оптимизирани и скалабилни заклучоци.
• За повеќе информации за NIM, посетете ја NVIDIA webсајт.

Распоредете со TensorRT-LLM или vLLM

• NeMo Framework нуди скрипти и API за извоз на модели во две библиотеки оптимизирани за заклучоци, TensorRT-LLM и vLLM, и за распоредување на извезениот модел со NVIDIA Triton Inference Server.
• За сценарија кои бараат оптимизирани перформанси, моделите NeMo можат да користат TensorRT-LLM, специјализирана библиотека за забрзување и оптимизирање на заклучоците на LLM на графичките процесори на NVIDIA. Овој процес вклучува конвертирање на моделите NeMo во формат компатибилен со TensorRT-LLM со помош на модулот nemo.export.
  • LLM распоредување завршиview
  • Распоредете модели на големи јазици на NeMo со NIM
  • Распоредете модели на големи јазици на NeMo со TensorRT-LLM
  • Распоредете модели на големи јазици на NeMo со vLLM

Поддржани модели

Големи јазични модели

Големи јазични модели

Големи јазични модели	Предобука и СФТ	PEFT	Порамнување	Конвергенција за обука на FP8	TRT/TRTLLM	Претворете во и од гушкање лице	Евалуација
Лама3 8Б/70Б, Лама3.1 405Б	Да	Да	x	Да (делумно потврдено)	Да	И двете	Да
Микстрална 8x7B/8x22B	Да	Да	x	Да (непроверено)	Да	И двете	Да
Немотрон 3 8Б	Да	x	x	Да (непроверено)	x	И двете	Да
Немотрон 4 340Б	Да	x	x	Да (непроверено)	x	И двете	Да
Бајчуан2 7Б	Да	Да	x	Да (непроверено)	x	И двете	Да
ChatGLM3 6B	Да	Да	x	Да (непроверено)	x	И двете	Да
Гема 2B/7B	Да	Да	x	Да (непроверено)	Да	И двете	Да
Gemma2 2B/9B/27B	Да	Да	x	Да (непроверено)	x	И двете	Да
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Да	Да	x	Да (непроверено)	x	x	Да
Phi3 mini 4k	x	Да	x	Да (непроверено)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Да	Да	x	Да (непроверено)	Да	И двете	Да
StarCoder 15B	Да	Да	x	Да (непроверено)	Да	И двете	Да
StarCoder2 3B/7B/15B	Да	Да	x	Да (непроверено)	Да	И двете	Да
БЕРТ 110М/340М	Да	Да	x	Да (непроверено)	x	И двете	x
T5 220M/3B/11B	Да	Да	x	x	x	x	x

 

Модели на Vision Language

 

Модели за вградување

 

Модели на светската фондација

Забелешка
NeMo исто така поддржува предобука и за дифузна и за авторегресивна архитектура text2world модели на темели.

Говорна вештачка интелигенција

Развивањето на модели за разговорна вештачка интелигенција е сложен процес кој вклучува дефинирање, конструирање и обука на модели во одредени домени. Овој процес обично бара неколку повторувања за да достигне високо ниво на точност. Често вклучува повеќекратни повторувања за да се постигне висока точност, дотерување на различни задачи и податоци специфични за домен, обезбедување на перформанси на обуката и подготовка на модели за распоредување на заклучоци.

NeMo Framework обезбедува поддршка за обука и прилагодување на моделите на Speech AI. Ова вклучува задачи како автоматско препознавање говор (ASR) и синтеза од текст во говор (TTS). Тој нуди непречена транзиција кон распоредување на производство на ниво на претпријатие со NVIDIA Riva. За да им помогне на програмерите и истражувачите, NeMo Framework вклучува најсовремени претходно обучени контролни пунктови, алатки за репродуктивна обработка на говорни податоци и функции за интерактивно истражување и анализа на збирки податоци за говор. Компонентите на NeMo Framework for Speech AI се како што следува:

Обука и прилагодување
NeMo Framework содржи се што е потребно за обука и приспособување модели на говор (ASR, Класификација на говорот, Препознавање звучници, Дијаризација на говорникот, и ТТС) на репродуктивен начин.

SOTA однапред обучени модели

• NeMo Framework обезбедува најсовремени рецепти и претходно обучени контролни пунктови на неколку ASR и ТТС модели, како и упатства како да ги вчитате.
• Говорни алатки
• NeMo Framework обезбедува збир на алатки корисни за развој на модели ASR и TTS, вклучувајќи:
  • NeMo Forced Aligner (NFA) за генерирање на временски период на токен, збор и сегмент на нивоampговор во аудио со користење на моделите за автоматско препознавање говор базирани на CTC на NeMo.
  • Процесор за говорни податоци (SDP), комплет со алатки за поедноставување на обработката на говорните податоци. Ви овозможува да ги претставувате операциите за обработка на податоци во конфигурација file, минимизирајќи го кодот на котвата и овозможувајќи репродуктивност и споделување.
  • Истражувач на податоци за говор (SDE), базиран на цртичка web апликација за интерактивно истражување и анализа на говорни бази на податоци.
  • Алатка за создавање збирки на податоци што обезбедува функционалност за усогласување на долгиот звук files со соодветните транскрипти и поделете ги на пократки фрагменти кои се погодни за обука на модели за автоматско препознавање говор (ASR).
  • Алатка за споредба за ASR моделите да ги споредуваат предвидувањата на различни модели ASR на ниво на точност и изговор на зборовите.
  • Оценувач на ASR за евалуација на перформансите на моделите ASR и други карактеристики како што е Откривање на гласовна активност.
  • Алатка за нормализација на текст за претворање на текст од пишана форма во говорна форма и обратно (на пр. „31.“ наспроти „триесет и први“).
• Пат до распоредување
• Моделите на NeMo кои се обучени или приспособени со помош на NeMo Framework може да се оптимизираат и да се распоредат со NVIDIA Riva. Рива обезбедува контејнери и графикони на кормилото специјално дизајнирани да ги автоматизираат чекорите за распоредување на копчињата.

Други ресурси

GitHub Repos

• НеМо: Главното складиште за NeMo Framework
• НеМо–Трчај: Алатка за конфигурирање, стартување и управување со експериментите за машинско учење.
• NeMo-Aligner: Скалабилна алатка за ефикасно усогласување на моделите
• NeMo-куратор: Скалабилни алатки за прет-обработка и курирање податоци за LLM

Добивање помош
Вклучете се во заедницата NeMo, поставувајте прашања, добијте поддршка или пријавете грешки.

• НеМо дискусии
• НеМо прашања

Програмски јазици и рамки

• Пајтон: Главниот интерфејс за користење NeMo Framework
• Питорч: NeMo Framework е изграден на врвот на PyTorch

Лиценци

• NeMo Github репото е лиценцирано под лиценцата Apache 2.0
• NeMo Framework е лиценциран според ДОГОВОРОТ ЗА ПРОИЗВОД НА ВИДИНА НА NVIDIA. Со повлекување и користење на контејнерот, ги прифаќате условите и условите на оваа лиценца.
• Контејнерот NeMo Framework содржи Llama материјали регулирани со Договорот за лиценца на заедницата Meta Llama3.

Фусноти
Во моментов, NeMo Curator и NeMo Aligner поддршката за Multimodal модели е работа во тек и ќе биде достапна многу наскоро.

Најчесто поставувани прашања

П: Како можам да проверам дали мојот систем е засегнат од ранливоста?
О: Можете да проверите дали вашиот систем е засегнат со потврдување на верзијата на инсталираната NVIDIA NeMo Framework. Ако е под верзијата 24, вашиот систем може да биде ранлив.

П: Кој го пријавил безбедносното прашање CVE-2025-23360?
О: Безбедносниот проблем беше пријавен од Or Peles – JFrog Security. NVIDIA го признава нивниот придонес.

П: Како можам да добивам идни безбедносни билтен известувања?
О: Посетете ја страницата за безбедност на производот NVIDIA за да се претплатите на известувањата за безбедносни билтен и да бидете информирани за безбедносните ажурирања на производот.

Документи / ресурси

Рамка NVIDIA NeMo [pdf] Упатство за корисникот Рамка на НеМо, НеМо, Рамка

Референци

• Упатство за употреба