កញ្ចប់អ្នកអភិវឌ្ឍន៍ NVIDIA Jetson Orin Nano
ការណែនាំ NVIDIA® Jetson Orin™ Nano Developer Kit
NVIDIA® Jetson Orin™ Nano Developer Kit កំណត់ស្តង់ដារថ្មីសម្រាប់បង្កើតមនុស្សយន្តដែលដំណើរការដោយ AI កម្រិតដំបូង យន្តហោះគ្មានមនុស្សបើកឆ្លាតវៃ និងកាមេរ៉ាឆ្លាតវៃ ហើយជួយសម្រួលដល់ការចាប់ផ្តើមជាមួយនឹងវេទិកា NVIDIA Jetson ។ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano ផ្តល់នូវដំណើរការឈានមុខគេក្នុងថ្នាក់រហូតដល់ 40 TOPS ក្នុងទម្រង់បង្រួមរួមជាមួយនឹងឧបករណ៍ភ្ជាប់ IO ជាច្រើនដែលធ្វើឱ្យវាក្លាយជាឧបករណ៍អ្នកអភិវឌ្ឍន៍ដ៏ល្អឥតខ្ចោះសម្រាប់បំប្លែងគំនិតប្រកបដោយចក្ខុវិស័យរបស់អ្នកឱ្យទៅជាការពិត។ NVIDIA Jetson Orin Nano ផ្តល់អត្ថប្រយោជន៍សំខាន់ៗដូចខាងក្រោមៈ
- រហូតដល់ 80X នៃដំណើរការ AI នៃ NVIDIA® Jetson Nano™ ជំនាន់មុន។
- គាំទ្រម៉ូដែល AI ជាច្រើនប្រភេទ រួមទាំងឧបករណ៍បំលែង និងម៉ូដែលមនុស្សយន្តកម្រិតខ្ពស់។
- ពេលវេលាទៅទីផ្សារកាន់តែលឿនជាមួយកម្មវិធី NVIDIA AI ។
កញ្ចប់អ្នកអភិវឌ្ឍន៍រួមមានម៉ូឌុល Jetson Orin Nano 8GB និងបន្ទះក្រុមហ៊ុនដឹកជញ្ជូនឯកសារយោងដែលអាចគាំទ្រគ្រប់ម៉ូឌុល Jetson Orin Nano និង Orin NX ដោយផ្តល់នូវវេទិកាដ៏ល្អសម្រាប់បង្កើតគំរូផលិតផល AI ជំនាន់ក្រោយ។ ម៉ូឌុល Jetson Orin Nano 8GB មានលក្ខណៈពិសេស NVIDIA® Ampere GPU (ជាមួយ 1024 CUDA® cores និង 32 ជំនាន់ទីបី Tensor cores) និង 6-core ARM CPU ដែលមានសមត្ថភាពដំណើរការបំពង់កម្មវិធី AI ដំណាលគ្នាជាច្រើន និងផ្តល់នូវដំណើរការសន្និដ្ឋានខ្ពស់។ បន្ទះក្រុមហ៊ុនដឹកជញ្ជូនដែលរួមបញ្ចូលនៅក្នុងឧបករណ៍អ្នកអភិវឌ្ឍន៍បានភ្ជាប់មកជាមួយនូវឧបករណ៍ភ្ជាប់ដ៏ធំទូលាយ រួមទាំងឧបករណ៍ភ្ជាប់ MIPI CSI ចំនួនពីរដែលគាំទ្រម៉ូឌុលកាមេរ៉ាដែលមានរហូតដល់ 4-lanes ដែលអនុញ្ញាតឱ្យមានគុណភាពបង្ហាញខ្ពស់ និងអត្រាស៊ុម។
កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano មានតម្លៃ $499 ហើយអាចរកទិញបានតាមរយៈអ្នកចែកចាយដែលមានការអនុញ្ញាតពី NVIDIA នៅទូទាំងពិភពលោក។
ខ្លឹមសារនៃកញ្ចប់អ្នកអភិវឌ្ឍន៍
- ម៉ូឌុល Jetson Orin Nano 8GB ជាមួយឧបករណ៍ផ្ទុកកំដៅ និងបន្ទះបញ្ជូនឯកសារយោង
- ការផ្គត់ផ្គង់ថាមពលឌីស៊ី
- ឧបករណ៍បញ្ជាចំណុចប្រទាក់បណ្តាញឥតខ្សែ 802.11ac/abgn
- មគ្គុទ្ទេសក៍ចាប់ផ្តើមរហ័ស
លក្ខណៈពិសេសរបស់ Jetson Orin Nano Developer Kit
| ម៉ូឌុល | ម៉ូឌុល Orin Nano 8GB |
| GPU | NVIDIA Ampស្ថាបត្យកម្ម ere ជាមួយ 1024 NVIDIA® CUDA® cores និង 32 ស្នូល Tensor |
| ស៊ីភីយូ | ស៊ីភីយូ 6-core Arm Cortex-A78AE v8.2 64-bit 1.5MB L2 + 4MB L3 |
| ការចងចាំ | 8GB 128-bit LPDDR5 68 GB/s |
| ការផ្ទុក | ខាងក្រៅតាមរយៈរន្ធដោត microSD NVMe ខាងក្រៅតាមរយៈ M.2 Key M |
តារាងទី 1 Jetson Orin Nano Developer Kit Module Specs
| ថាមពល | ពី 7W ទៅ 15W |
តារាងទី 1 Jetson Orin Nano Developer Kit Carrier Specs
| ក្រុមប្រឹក្សាអ្នកដឹកជញ្ជូនឯកសារយោង៖ | |
| កាមេរ៉ា | 2x MIPI CSI-2 ឧបករណ៍ភ្ជាប់កាមេរ៉ា 22-pin |
| M.2 គន្លឹះ M | x4 PCIe Gen 3 |
| M.2 គន្លឹះ M | x2 PCIe Gen3 |
| M.2 គន្លឹះ E | PCIe (x1), USB 2.0, UART, I2S និង I2C |
| យូអេសប៊ី | ប្រភេទ A៖ 4x USB 3.2 Gen2 វាយ C: 1x សម្រាប់ Debug និង Device Mode |
| បណ្តាញ | ឧបករណ៍ភ្ជាប់ 1x Gbe |
| បង្ហាញ | DisplayPort 1.2 (+MST) |
| រន្ធដោត microSD | កាត UHS-1 រហូតដល់របៀប SDR104 |
| ផ្សេងៗ | ក្បាលក្បាលពង្រីក 40-Pin (UART, SPI, I2S, I2C, GPIO) ក្បាលកង្ហារ 12-pin ប៊ូតុង 4-pin រន្ធថាមពល DC |
| វិមាត្រ | 100 មម x 79 មម x 21 មម (កម្ពស់រួមមានជើង ក្តារដឹកជញ្ជូន ម៉ូឌុល និងដំណោះស្រាយកម្ដៅ) |
សូមមើលផ្នែក ការដំឡើង Jetson របស់អ្នក។ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Orin Nano នៅក្នុងឧបសម្ព័ន្ធអំពីរបៀបដំឡើងកម្មវិធីយ៉ាងងាយស្រួល
កញ្ចប់អ្នកអភិវឌ្ឍន៍។
ស្តង់ដារការអនុវត្តថ្មីសម្រាប់កម្មវិធី AI កម្រិតចូល
សមត្ថភាព AI ខ្ពស់រហូតដល់ 80X
ថាមពលមានប្រសិទ្ធភាព Jetson Orin Nano 8GB System-on-Module (SoM) ផ្តល់ថាមពលដល់ទៅ 40 INT8 TOPS នៃដំណើរការ AI ក្នុងកញ្ចប់ថាមពល 15-Watt ដែលជាល្បឿន 80X ជាង Jetson Nano1 ជំនាន់មុន។ សម្រាប់កម្មវិធីដែលទាមទារភាពជាក់លាក់ FP32 Orin Nano 8GB ផ្តល់នូវ FP5 CUDA TFLOPS របស់ Jetson Nano ច្រើនជាង 32X និងជាមួយនឹង Cores CPU Arm® A78 ចំនួនប្រាំមួយ វាផ្តល់នូវដំណើរការស៊ីភីយូស្ទើរតែ 7X ។ សម្រាប់ការរចនាដែលមានតម្រូវការថាមពលទាប ឧបករណ៍អ្នកអភិវឌ្ឍន៍អាចត្រូវបានលៃតម្រូវសម្រាប់ power profiles ទាបរហូតដល់ 7W ។ Jetson Orin Nano ផ្តល់នូវប្រសិទ្ធភាពថាមពលមិនគួរឱ្យជឿ ហើយមានប្រសិទ្ធភាពថាមពលជាង Jetson Nano ស្ទើរតែ 50X សម្រាប់ដំណើរការ AI ។
នៅលើស្តង់ដារឧស្សាហកម្ម MLPerf benchmark, Jetson AGX Orin នៅពេលចាប់ផ្តើមនៅខែមេសាឆ្នាំ 2022 បានផ្តល់នូវលទ្ធផលល្អបំផុតនៅក្នុងថ្នាក់ការសន្និដ្ឋានដែលខ្ពស់ជាង Jetson AGX Xavier ជំនាន់មុន 5X ។ ចាប់តាំងពីពេលនោះមក ដោយសារការអាប់ដេតផ្នែកទន់ជាបន្តបន្ទាប់ទៅ JetPack និង NVIDIA AI stack ប្រសិទ្ធភាពថាមពលរបស់ AGX Orin បានប្រសើរឡើងបន្ថែមទៀតស្ទើរតែ ៥០ ភាគរយ។ យើងក៏បានឃើញការកែលម្អដំណើរការរហូតដល់ 54% លើចំណុចគោលដែលយើងបានដំណើរការនៅលើ Jetpack 5.0.2 បើប្រៀបធៀបទៅនឹង JetPack 5.1.1 ដែលយើងនឹងចេញផ្សាយក្នុងពេលឆាប់ៗនេះ។
ស្ថាបត្យកម្ម NVIDIA AI ដូចគ្នាដែលផ្តល់ថាមពលដល់ម៉ូឌុល Jetson AGX Orin ឈានមុខគេឥឡូវនេះអាចចូលប្រើបានសម្រាប់ក្រុមអ្នកអភិវឌ្ឍន៍ និងអ្នកដែលចូលចិត្ត AI កាន់តែច្រើនតាមរយៈវេទិកា NVIDIA Jetson Orin Nano ។ Jetson Orin Nano ផ្តល់នូវដំណើរការដ៏អស្ចារ្យនៅលើម៉ូដែល AI និងកុំព្យូទ័រដែលពេញនិយមជាច្រើនដែលទាក់ទងទៅនឹង Jetson Nano ជំនាន់មុន ដែលអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតមនុស្សយន្តដែលដំណើរការដោយ AI កម្រិតដំបូង យន្តហោះគ្មានមនុស្សបើកឆ្លាតវៃ និងកាមេរ៉ាឆ្លាតវៃ។
នៅពេលវាស់លើបណ្តាញពេញនិយមដែលបានរាយខាងក្រោមដែលត្រូវបានគេប្រើយ៉ាងទូលំទូលាយនៅក្នុងកម្មវិធី AI និងមនុស្សយន្ត Jetson Orin Nano 8GB ជាមធ្យមផ្តល់នូវដំណើរការរបស់ Jetson Nano ស្ទើរតែ 30X ហើយយើងរំពឹងថាការនាំនេះនឹងប្រសើរឡើងដល់ស្ទើរតែ 45X ជាមួយនឹងការបន្តបង្កើនប្រសិទ្ធភាព និងការធ្វើឱ្យប្រសើរឡើងផ្នែកទន់នៅក្នុង ទាំង JetPack និង NVIDIA AI stack ។
- NVIDIA PeopleNet v2.3 សម្រាប់ការរកឃើញមនុស្សដែលកាត់ចេញ និង NVIDIA PeopleNet v2.5 សម្រាប់ខ្ពស់បំផុត
ការរកឃើញភាពត្រឹមត្រូវរបស់មនុស្ស - NVIDIA ActionRecognitionNet ម៉ូដែល 2D និង 3D
- NVIDIA LPRNet សម្រាប់ការទទួលស្គាល់ស្លាកលេខ
- NVIDIA DashCamNet, BodyPoseNet សម្រាប់ការប៉ាន់ប្រមាណមនុស្សច្រើននាក់
- ResNet-50 គំរូ (224 × 224)
ការអនុវត្តលើ Vision AI និង Conversational AI Models
2 ការកើនឡើងនៃការអនុវត្តដែលទាក់ទងតំណាងឱ្យមធ្យមធរណីមាត្រនៃការកើនឡើងនៃការអនុវត្តដែលត្រូវបានវាស់វែងនៅទូទាំងបណ្តាញសរសៃប្រសាទដែលត្រៀមរួចជាស្រេចសម្រាប់ការបណ្តុះបណ្តាល និងគំរូការសន្និដ្ឋាន។
សេចក្តីណែនាំសម្រាប់ការដំណើរការស្តង់ដារខាងលើនៅលើ Jetson Orin Nano មាននៅក្នុង កំពុងដំណើរការ សន្ទស្សន៍ការសន្និដ្ឋាន ផ្នែកនៃឧបសម្ព័ន្ធ។
ដំណើរការម៉ូដែល AI កាត់គែម
Jetson Orin Nano Developer Kit ជាមួយនឹងការដំណើរការ AI ដល់ទៅ 40 TOPS គឺជាវេទិកា AI គែមដែលអាចប្រើបានច្រើនបំផុតដែលគាំទ្រមិនត្រឹមតែម៉ូដែល AI ដ៏ពេញនិយមដែលប្រើក្នុងកម្មវិធី edge AI ប៉ុណ្ណោះទេ ប៉ុន្តែក៏មានម៉ូដែលទំនើបថ្មីៗដូចជា Transformers ដែលកំពុងបង្កើតភាពរំភើបជាច្រើនផងដែរ។ នៅក្នុងឧស្សាហកម្ម AI ។ ឧបករណ៍ Edge ដំណើរការដោយ Jetson Orin Nano អាចដំណើរការក្នុងមូលដ្ឋាននូវម៉ូដែល Transformer AI ដែលជាមូលដ្ឋានសម្រាប់កម្មវិធី AI ជំនាន់ថ្មីដូចជា Chat GPT និង DALL-E ។ សមត្ថភាពនេះក្នុងការដំណើរការម៉ូដែល AI ទំនើប និងតម្រូវការក្នុងស្រុកនៅលើឧបករណ៍ អនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតដំណោះស្រាយដែលមិនអាស្រ័យលើម៉ាស៊ីនមេដ៏មានឥទ្ធិពលនៅក្នុងមជ្ឈមណ្ឌលទិន្នន័យ និងប្រើប្រាស់ដំណោះស្រាយទាំងនេះសម្រាប់ប្រតិបត្តិការស្វយ័តដោយមិនគិតពីការតភ្ជាប់បណ្តាញ។
Transformers គឺជាប្រភេទស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទដែលកំពុងទទួលបានប្រជាប្រិយភាពក្នុងប៉ុន្មានឆ្នាំថ្មីៗនេះ ជាពិសេសសម្រាប់កិច្ចការដំណើរការភាសាធម្មជាតិ (NLP)។ នៅក្នុងវិស័យនៃចក្ខុវិស័យកុំព្យូទ័រ បណ្តាញសរសៃប្រសាទ convolutional (CNNs) គឺជាវិធីសាស្រ្តលេចធ្លោអស់រយៈពេលជាច្រើនឆ្នាំមកហើយ។ ទោះជាយ៉ាងណាក៏ដោយ ភាពជោគជ័យនៃម៉ូដែលប្លែងនៅក្នុង NLP បាននាំឱ្យអ្នកស្រាវជ្រាវថ្មីៗនេះចាប់ផ្តើមស្វែងយល់ពីការប្រើប្រាស់គំរូប្លែងសម្រាប់កិច្ចការចក្ខុវិស័យ ជាមួយនឹងលទ្ធផលដ៏ជោគជ័យ។
ម៉ូដែល Transformer មានភាពរឹងមាំជាងមុនក្នុងការគ្រប់គ្រងទិន្នន័យគ្មានសម្លេង ដោះស្រាយជាមួយទិន្នន័យថ្មីដែលមើលមិនឃើញពីមុន ហើយត្រូវបានគេរកឃើញថាផ្តល់នូវភាពត្រឹមត្រូវកាន់តែប្រសើរឡើងនៅក្នុងស្ថានភាពដែលភាពត្រឹមត្រូវនៃម៉ូដែល CNN ប្រពៃណីធ្លាក់ចុះយ៉ាងខ្លាំង។ ម៉ូដែល Transformer មានទម្ងន់ធ្ងន់ ហើយត្រូវការការគណនាយ៉ាងច្រើន ដើម្បីហ្វឹកហាត់ និងដាក់ពង្រាយនៅលើគែម។ នៅពេលដែលការស្រាវជ្រាវនៅក្នុងម៉ូដែលដែលមានមូលដ្ឋានលើ Transformer សម្រាប់ចក្ខុវិស័យកុំព្យូទ័រ និងផ្នែកផ្សេងទៀតនៅតែបន្ត ហើយម៉ូដែលដែលបានកែលម្អថ្មីត្រូវបានបង្កើតឡើង បន្ទាត់ផលិតផល Jetson Orin ដែលអាចប្រើប្រាស់បាន និងមានថាមពលខ្លាំងនឹងអាចដំណើរការបាននូវម៉ូដែលថ្មីជាងនេះជាច្រើន។
DEMO៖ គំរូ Transformer សម្រាប់ការរកឃើញមនុស្ស
យើងបានវេចខ្ចប់ការបង្ហាញសម្រាប់អ្នកដើម្បីដំណើរការគំរូបំលែង PeopleNet D-DETR នៅលើឧបករណ៍អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano របស់អ្នក។ NVIDIA ផ្តល់ជូននូវម៉ូដែលដែលមានមូលដ្ឋានលើប្លែងជាច្រើននៅលើ NGC រួមទាំងគំរូការរកឃើញមនុស្សនេះដោយផ្អែកលើ DETR ដែលអាចខូចទ្រង់ទ្រាយបាន។ DETR (DEtection TRAnsformer) ជំនួសបណ្តាញសំណើតំបន់ប្រពៃណី (RPN) ដែលប្រើក្នុងគំរូការរកឃើញវត្ថុដែលមានមូលដ្ឋានលើ CNN ជាមួយនឹងស្ថាបត្យកម្មបំប្លែង-ឌិកូដឌ័រដែលមានមូលដ្ឋានលើប្លែង។ គំរូប្លែង PeopleNet គឺផ្អែកលើឧបករណ៍រាវរកវត្ថុ DETR ដែលអាចខូចទ្រង់ទ្រាយជាមួយ ResNet50 ជាឧបករណ៍ទាញយកលក្ខណៈពិសេស។ ស្ថាបត្យកម្មនេះប្រើប្រាស់ម៉ូឌុលយកចិត្តទុកដាក់ដែលចូលរួមតែសំណុំគន្លឹះតូចមួយប៉ុណ្ណោះ។ampling ចំណុចជុំវិញឯកសារយោងមួយ; នេះបង្កើនប្រសិទ្ធភាពការបណ្តុះបណ្តាល និងល្បឿនការសន្និដ្ឋាន។
ដំណើរការគំរូប្លែង PeopleNet D-DETR ដោយយោងទៅ ម៉ូដែល Peoplenet Transformer ផ្នែកនៅក្នុងឧបសម្ព័ន្ធ
ពន្លឿនការអភិវឌ្ឍន៍ AI
ខ្សែបន្ទាត់ NVIDIA Jetson Orin ដែលមានអនុភាពត្រូវបានគាំទ្រដោយកម្មវិធី NVIDIA AI ដ៏ទូលំទូលាយដូចគ្នាដែលផ្តល់ថាមពលដល់ម៉ាស៊ីនមេមជ្ឈមណ្ឌលទិន្នន័យដែលមានមូលដ្ឋានលើ NVIDIA GPU ស្ថានីយការងារ AI កុំព្យូទ័រលេងហ្គេម GeForce និងផលិតផលគ្រួសារ Jetson ទាំងមូល។ ជង់កម្មវិធី NVIDIA AI រួមមានកញ្ចប់កម្មវិធីអភិវឌ្ឍន៍កម្មវិធី (SDK) ជាច្រើនប្រភេទ ឧបករណ៍ បណ្ណាល័យ គំរូដែលបានបណ្តុះបណ្តាល និងធុងដែលមិនត្រឹមតែបង្កើនល្បឿនកម្មវិធី AI ប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងអាចឱ្យដំណើរនៃការអភិវឌ្ឍន៍យ៉ាងរលូនពីគំនិតរហូតដល់ការដាក់ពង្រាយផលិតកម្ម។ ជង់កម្មវិធីដ៏ទូលំទូលាយរួមជាមួយនឹងឯកសារលម្អិត ការបង្រៀន sample applications, containers, និង GitHub repos អនុញ្ញាតឱ្យសូម្បីតែអ្នកអភិវឌ្ឍន៍ដែលមិនសូវមានជំនាញ AI ដើម្បីបង្កើតកម្មវិធី AI ដែលត្រៀមរួចជាស្រេចសម្រាប់ការដាក់ពង្រាយគែម។
ជង់កម្មវិធី NVIDIA AI ផ្តល់នូវដំណោះស្រាយដើម្បីបង្កើនល្បឿនផ្នែកនីមួយៗនៃដំណើរអភិវឌ្ឍកម្មវិធី AI ដោយចាប់ផ្តើមជាមួយឧបករណ៍ដូចជា NVIDIA Omniverse Replicator សម្រាប់ការបង្កើតទិន្នន័យដែលប្រើក្នុងការបណ្តុះបណ្តាល AI model, NVIDIA TAO ដែលសម្រួលដល់ការបណ្តុះបណ្តាលជាក់ស្តែង និងការបង្កើនប្រសិទ្ធភាពនៃម៉ូដែល AI និង NVIDIA TensorRT សម្រាប់ការដាក់ពង្រាយគំរូ AI ។ SDKs ជាក់លាក់នៃដែនដូចជា NVIDIA DeepStream, NVIDIA Riva, NVIDIA Isaac និងផ្សេងទៀតជួយក្នុងការអភិវឌ្ឍន៍លំហូរការងារ និងកម្មវិធីពីចុងដល់ចប់។ NVIDIA បន្តវិនិយោគលើកម្មវិធី AI របស់ខ្លួនដើម្បីនាំយកសមត្ថភាពថ្មីសម្រាប់អ្នកអភិវឌ្ឍន៍។
ការអភិវឌ្ឍគំរូ AI
ភាពត្រឹមត្រូវនៃគំរូ AI អាស្រ័យយ៉ាងខ្លាំងទៅលើបរិមាណ និងគុណភាពនៃទិន្នន័យដែលបានប្រើសម្រាប់ការបណ្តុះបណ្តាល។ ការប្រមូលទិន្នន័យមួយចំនួនធំនៅក្នុងសេណារីយ៉ូផ្សេងៗគ្នា ហើយបន្ទាប់មកដាក់ស្លាកពួកគេសម្រាប់ការបណ្តុះបណ្តាលគឺជាការងារដ៏លំបាកមួយ ហើយធ្វើឱ្យពេលវេលាយឺតយ៉ាវក្នុងការទីផ្សារ។ NVIDIA Omniverse Replicator សម្រាប់ការបង្កើតទិន្នន័យសំយោគជួយបង្កើតសំណុំទិន្នន័យដែលមានគុណភាពខ្ពស់ ដើម្បីបង្កើនការបណ្តុះបណ្តាលគំរូ។ សំណុំទិន្នន័យដែលបានបង្កើត ឬបន្ថែមដោយទិន្នន័យសំយោគដំណើរការយ៉ាងរលូនជាមួយ NVIDIA ប្រអប់ឧបករណ៍ Train-Adapt-Optimize (TAO) ដើម្បីបណ្ដុះបណ្ដាល និងបង្កើនប្រសិទ្ធភាពគំរូផ្ទាល់ខ្លួន ឬមួយក្នុងចំនោមជាច្រើន។ ម៉ូដែលដែលបានបណ្តុះបណ្តាលមុន (PTM) បង្ហោះនៅលើ NGC™ (NVIDIA GPU Cloud)។
ការចេញផ្សាយ NVIDIA TAO ថ្មីៗនេះបានបន្ថែមការគាំទ្រសម្រាប់ AutoML ដែលអាចឱ្យអ្នកអភិវឌ្ឍន៍មានភាពងាយស្រួលក្នុងការបណ្តុះបណ្តាលម៉ូដែល AI ដោយមិនចាំបាច់ឆ្លងកាត់ការរំខាននៃការកែតម្រូវរាប់រយប៉ារ៉ាម៉ែត្រដោយដៃ ដូច្នេះកាត់បន្ថយពេលវេលាដែលត្រូវការដើម្បីបង្កើនប្រសិទ្ធភាពគំរូមួយ។ ការចេញផ្សាយចុងក្រោយបំផុតក៏បានអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍នាំយកគំរូផ្ទាល់ខ្លួនរបស់ពួកគេ និងបំប្លែងគំរូប្រភពបើកចំហ ONNX (Open Neural Network Exchange) ទៅជាគំរូដែលត្រូវគ្នានឹង TAO ។ ការចេញផ្សាយនេះក៏អនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍អាចចូលប្រើសេវាកម្មកញ្ចប់ឧបករណ៍ TAO តាមរយៈ REST API ដែលធ្វើឱ្យវាកាន់តែងាយស្រួលសម្រាប់ពួកគេក្នុងការរួមបញ្ចូល TAO ទៅក្នុងវដ្តជីវិតគំរូ AI របស់ពួកគេ។
កញ្ចប់អ្នកអភិវឌ្ឍន៍កម្មវិធីដ៏មានឥទ្ធិពល
ជង់កម្មវិធី NVIDIA AI ភ្ជាប់មកជាមួយ SDKs ជាច្រើនដែលជួយអ្នកអភិវឌ្ឍន៍យ៉ាងងាយស្រួលបង្កើតកម្មវិធី AI ដែលបង្កើនល្បឿនពេញលេញ។ SDK សំខាន់ៗចំនួនបីដែលជួយក្នុងការអភិវឌ្ឍន៍ចក្ខុវិស័យ មនុស្សយន្ត និងការសន្ទនា AI ត្រូវបានរំលេចខាងក្រោម។
NVIDIA DeepStream SDK ផ្តល់នូវក្របខ័ណ្ឌផ្អែកលើ gstreamer សម្រាប់បង្កើតកម្មវិធីដែលអាចវិភាគវីដេអូស្ទ្រីមជាច្រើនក្នុងពេលវេលាជាក់ស្តែង។ DeepStream ផ្តល់នូវការបង្កើនល្បឿនផ្នែករឹងសម្រាប់ច្រើនជាងការសន្និដ្ឋាន - វារួមបញ្ចូលការបង្កើនល្បឿនផ្នែករឹង plugins សម្រាប់ការបង្កើនល្បឿនបំពង់ AI ពីចុងដល់ចុង។ SDK ឥឡូវនេះរួមបញ្ចូលការគាំទ្រសម្រាប់ REST APIs សម្រាប់ការគ្រប់គ្រងបំពង់ DeepStream ភ្លាមៗ ដែលធ្វើឱ្យវាងាយស្រួលក្នុងការរួមបញ្ចូលជាមួយកម្មវិធីរបស់អ្នក។ Graph Composer ដែលត្រូវបានអាប់ដេតជាមួយនឹង UI ងាយស្រួលប្រើ អនុញ្ញាតឱ្យអ្នកបង្កើតបំពង់ DeepStream ពីចុងដល់ចប់ ដោយមានលេខកូដតិចតួច ឬគ្មានកូដ ដោយហេតុនេះកាត់បន្ថយភាពស្មុគស្មាញនៃការអភិវឌ្ឍន៍កម្មវិធី និងផ្តល់នូវការកាត់បន្ថយពេលវេលាសម្រាប់ទីផ្សារ។
NVIDIA Riva រួមបញ្ចូល ម៉ូដែលទំនើបដែលបានទទួលការបណ្តុះបណ្តាល សម្រាប់ការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិ (ASR) និងអត្ថបទទៅការនិយាយ (TTS) ។ គំរូដែលបានបណ្តុះបណ្តាលជាមុនទាំងនេះមានភាពត្រឹមត្រូវខ្ពស់ ហើយអាចប្ដូរតាមបំណងបានយ៉ាងងាយស្រួល ដើម្បីបង្កើនភាពត្រឹមត្រូវលើដែន ការសង្កត់សំឡេង ភាសា និងករណីប្រើប្រាស់ដែលចង់បាន។ ការចេញផ្សាយថ្មីរបស់ Rivanow គាំទ្រ 14 ភាសាជាមួយនឹងផែនការដើម្បីបន្តបន្ថែមបន្ថែមទៀត។ យើងបានបន្ថែមការគាំទ្រសម្រាប់ Fast Conformer ដែលផ្តល់នូវការបង្កើនល្បឿនការសន្និដ្ឋាន 2.4x និងការបង្កើនល្បឿនហ្វឹកហាត់ 1.8x លើស្តង់ដារ Conformer។ យើងក៏បានធ្វើឱ្យម៉ូដែលរបស់យើងមានសំលេងរំខានកាន់តែខ្លាំងដែលនាំទៅដល់> 20% ធ្វើឱ្យប្រសើរឡើងនូវភាពត្រឹមត្រូវនៅលើសំណុំតេស្តដែលមានសំលេងរំខាន។ ការចេញផ្សាយចុងក្រោយនេះក៏គាំទ្រជំនាញបកប្រែផងដែរ។ យើងបានបន្ថែមគំរូបកប្រែក្រៅប្រអប់ដែលមានគុណភាពខ្ពស់ជាមួយនឹងការគាំទ្រសម្រាប់ 32 ភាសា។
ការដាក់ពង្រាយមនុស្សយន្តពីចុងដល់ចប់ជាមួយ NVIDIA Isaac
NVIDIA អ៊ីសាក ផ្តល់វេទិកាសម្រាប់ការអភិវឌ្ឍន៍មនុស្សយន្តពីចុងដល់ចប់។ ចាប់ផ្តើមជាមួយការបង្កើតទិន្នន័យសំយោគដោយប្រើ ឧបករណ៍ចម្លងគ្រប់ទិស។ អ្នកអភិវឌ្ឍន៍អាចបង្កើតឈុតឆាកជាក់ស្តែងបានយ៉ាងងាយស្រួលជាមួយនឹងមនុស្ស វត្ថុ និងបរិស្ថានផ្សេងៗគ្នា កំណត់លក្ខខណ្ឌពន្លឺ ពណ៌ និងទីតាំងវត្ថុដោយចៃដន្យ ហើយបញ្ចេញសំណុំទិន្នន័យដែលមានស្លាកយ៉ាងល្អឥតខ្ចោះ ដើម្បីពន្លឿនការបណ្តុះបណ្តាលគំរូ។ ប្រើគំរូដែលបានបណ្តុះបណ្តាលជាមុនពី NVIDIA NGC ជំនួសឱ្យការអភិវឌ្ឍន៍ម៉ូដែលពីដំបូង ហើយប្រើ TAO ដើម្បីបណ្តុះបណ្តាល និងបង្កើនប្រសិទ្ធភាពគំរូ។
បន្ទាប់មកប្រើ Isaac Sim ដើម្បីក្លែងធ្វើមនុស្សយន្តរបស់អ្នកយ៉ាងត្រឹមត្រូវនៅក្នុងបរិស្ថានរូបភាពជាក់ស្តែង និងបង្កើតកូនភ្លោះឌីជីថល។ អ្នកអាចសាកល្បងទិដ្ឋភាពនីមួយៗនៃប្រតិបត្តិការមនុស្សយន្ត – អាចជាការយល់ឃើញ ការធ្វើមូលដ្ឋានីយកម្ម ការធ្វើផែនការផ្លូវ ការរុករកជាដើម។ អ្នកអាចក្លែងធ្វើ និងសាកល្បងលក្ខខណ្ឌ ដែលប្រហែលជាមិនអាចបង្កើតឡើងវិញនៅក្នុងពិភពពិតបានទេ។ ការចេញផ្សាយ 2022.2 នៃ Isaac Sim បាននាំមកនូវការគាំទ្រក្នុងការក្លែងធ្វើមនុស្ស និងសកម្មភាព ដូច្នេះអ្នកអាចធ្វើឱ្យប្រព័ន្ធយល់ឃើញ និងសុវត្ថិភាពនៅក្នុងពិភពនិម្មិតមានសុពលភាព។
ការចេញផ្សាយនេះក៏បាននាំមកនូវការគាំទ្រសម្រាប់ cuOpt ដើម្បីបង្កើនប្រសិទ្ធភាពផែនការផ្លូវរបស់មនុស្សយន្តនៅក្នុងឃ្លាំង និងបរិយាកាសរោងចក្រ។ លើសពីនេះទៀត ការចេញផ្សាយចុងក្រោយបង្អស់បានបន្ថែមការគាំទ្រសម្រាប់ ROS 2 Humble ដូច្នេះអ្នកអាចក្លែងធ្វើកូដ Isaac ROS របស់អ្នកនៅក្នុង Isaac Sim ។
បន្ទាប់មក អ្នកអាចបង្កើតកម្មវិធីមនុស្សយន្តដែលដំណើរការខ្ពស់ដោយប្រើ NVIDIA Isaac ROS, បណ្តុំនៃកញ្ចប់បង្កើនល្បឿនដែលអ្នកអភិវឌ្ឍន៍មនុស្សយន្តអាចរួមបញ្ចូលយ៉ាងងាយស្រួលនៅក្នុងបំពង់ ROS របស់ពួកគេ។ កញ្ចប់ ROS ទាំងនេះត្រូវបានបង្កើនល្បឿននៅលើ GPU និងឧបករណ៍បង្កើនល្បឿនផ្នែករឹងផ្សេងទៀតដែលមាននៅលើ Jetson ។ ជាមួយនឹងការចេញផ្សាយចុងក្រោយបំផុត (កំណត់គោលដៅសម្រាប់ GTC ខែមីនា ឆ្នាំ 2023) យើងកំពុងស្វែងរកប្រភពបើកចំហនៃកញ្ចប់ Isaac ROS សម្រាប់អ្នកអភិវឌ្ឍន៍ ROS ដើម្បីកែប្រែ ពង្រីក ឬរួមចំណែកត្រឡប់មកវិញ។ យើងក៏កំពុងបញ្ចេញនូវក្របខណ្ឌស្តង់ដារ ROS ផងដែរ ដើម្បីបង្កើតជាគោលសម្រាប់ក្រាហ្វ ROS និងគោលគោលនៅក្រោមបន្ទុកការងារជាក់ស្តែង។ កញ្ចប់ Isaac ROS NVBlox ដែលត្រូវបានអាប់ដេតកំពុងត្រូវបានចេញផ្សាយដើម្បីបង្កើតសំណាញ់ 3D ស្អាតនៅក្នុងបរិយាកាសដែលមានមនុស្សច្រើន។ ជាមួយនឹងការកែលម្អទាំងនេះ និងផ្សេងទៀត Isaac ROS កំពុងដាក់មូលដ្ឋានគ្រឹះសម្រាប់ការបង្កើតដំណោះស្រាយមនុស្សយន្តដែលមានដំណើរការខ្ពស់។
DEMO៖ លំហូរការងារពីចុងដល់ចប់ជាមួយ Isaac Sim Synthetic Data Generation និង TAO
ការបង្ហាញនេះផ្តល់ឱ្យអ្នកនូវបទពិសោធន៍នៃការឆ្លងកាត់ដំណើរការការងារទាំងមូលចាប់ពីការបង្កើតគំរូរហូតដល់ការដាក់ឱ្យប្រើប្រាស់។ យើងចាប់ផ្តើមជាមួយនឹងគំរូនៃការបែងចែកមនុស្សដែលបានបណ្តុះបណ្តាលជាមុនពី NGC ដែលត្រូវបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យដែលមានកម្ពស់កាមេរ៉ាផ្សេងៗគ្នា ដង់ស៊ីតេហ្វូងមនុស្ស និងវាលនៃ view (FOV) ។ យើងសង្កេតឃើញថា ការប្រើប្រាស់គំរូនេះនៅលើកាមេរ៉ាមនុស្សយន្តដែលនៅជិតដី នាំឱ្យមានភាពសុក្រិតខ្សោយ ដោយសារសំណុំទិន្នន័យហ្វឹកហាត់ដើមមិនមានមុំកាមេរ៉ាជិតដីបែបនេះទេ។
ការប្រមូលសំណុំទិន្នន័យធំថ្មីជាមួយនឹងមុំកាមេរ៉ាថ្មី ហើយបន្ទាប់មកកំណត់ចំណាំរូបភាពនីមួយៗនឹងចំណាយពេលច្រើនថ្ងៃ និងច្រើនសប្តាហ៍។ ផ្ទុយទៅវិញ ការបង្ហាញនេះបង្ហាញពីការប្រើប្រាស់ Omniverse Replicator នៅក្នុង Isaac Sim ដើម្បីបង្កើតឈុតឆាក វត្ថុ និងមនុស្ស និងដើម្បីបន្ថែមការចៃដន្យសម្រាប់បំរែបំរួលទិន្នន័យបន្ថែមទៀត។ ទិន្នន័យសំយោគជាលទ្ធផលត្រូវបានកត់ចំណាំរួចហើយ។ បន្ទាប់មកទិន្នន័យសំយោគនេះត្រូវបានប្រើដើម្បីបង្ហាត់គំរូនៃការបែងចែកមនុស្សឡើងវិញ មុនពេលធ្វើឱ្យវាប្រសើរឡើងជាមួយនឹងកញ្ចប់ឧបករណ៍ NVIDIA TAO ។ បន្ទាប់មកយើងដាក់ពង្រាយគំរូដែលបានបណ្តុះបណ្តាលនៅលើ Jetson Orin Nano Developer Kit ហើយឃើញលទ្ធផលសន្និដ្ឋាន៖ ម៉ូដែលនេះនឹងដំណើរការយ៉ាងត្រឹមត្រូវជាមួយនឹងមុំកាមេរ៉ាមនុស្សយន្តនៅជិតដី។
ជាមួយនឹងឧបករណ៍ដូចជា Isaac sim សម្រាប់ការបង្កើតទិន្នន័យសំយោគ ម៉ូដែលដែលបានបណ្តុះបណ្តាលមុន និង NVIDIA TAO យើងអនុញ្ញាតឱ្យអតិថិជនរបស់យើងចូលទៅកាន់ទីផ្សារបានលឿនជាងមុនដោយកាត់បន្ថយពេលវេលានៃការអភិវឌ្ឍន៍គំរូ AI ពីថ្ងៃនិងសប្តាហ៍មកត្រឹមតែប៉ុន្មាននាទីប៉ុណ្ណោះ។
បទពិសោធន៍ការងារទាំងមូលនេះដោយយោងទៅ Isaac Replicator និង TAO ផ្នែកនៅក្នុងឧបសម្ព័ន្ធ
ឧបសម្ព័ន្ធ
ចាប់ផ្តើមជាមួយឧបករណ៍អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano
អ្នកអាចចូលទៅកាន់ Reviewers ណែនាំពី https://developer.nvidia.com/jetson-orin-nano-review
ការដំឡើង Jetson Orin Nano Developer Kit របស់អ្នក។
កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano ភ្ជាប់មកជាមួយម៉ូឌុល Jetson Orin Nano ដែលមានរន្ធដោតកាត microSD ។ មធ្យោបាយងាយស្រួលបំផុតក្នុងការដំឡើងឧបករណ៍អ្នកអភិវឌ្ឍន៍គឺត្រូវសរសេររូបភាព NVIDIA JetPack ទៅក្នុងកាត microSD ដោយប្រើឧបករណ៍ដូចជា Balena Etcher ហើយបន្ទាប់មកចាប់ផ្ដើមឧបករណ៍អ្នកអភិវឌ្ឍន៍ដោយប្រើរូបភាពកាត SD ។
សម្រាប់ការនេះឡើងវិញviewយើងបានផ្តល់កាត microSD ដែលត្រូវបានសរសេរជាមុនជាមួយរូបភាព NVIDIA JetPack ។ សូមបញ្ចូលកាត SD ទៅក្នុងរន្ធដោតកាត microSD ហើយបើកថាមពលនៅលើឧបករណ៍អ្នកអភិវឌ្ឍន៍។ រន្ធដោតកាត microSD ស្ថិតនៅក្រោមម៉ូឌុលដូចបានបង្ហាញខាងក្រោម។
ចំណាំ៖ រូបភាពដែលយើងបានផ្តល់គឺ ក "ឯកជន" មុនview សាងសង់។ នេះមុនview build នឹងចំណាយពេលមួយនាទី ឬដូច្នេះដើម្បីបង្ហាញការសន្ទនាការកំណត់រចនាសម្ព័ន្ធដំបូងកំឡុងពេលចាប់ផ្ដើមដំបូង។ ឧបករណ៍អ្នកអភិវឌ្ឍន៍ ដែលនឹងត្រូវបានដាក់ឱ្យប្រើប្រាស់ជាសាធារណៈបន្ទាប់ពីការប្រកាសនៅ GTC 2023 នឹងមានគុណភាពផលិតដែលនឹងលឿនជាងមុននៅពេលចាប់ផ្តើមដំបូង។ ដូចគ្នានេះផងដែរ មានបញ្ហានៅក្នុងការសាងសង់ឯកជននេះដែលត្រូវការការយកចិត្តទុកដាក់។ Jetson Orin Nano មិនរួមបញ្ចូលឧបករណ៍បំលែងកូដផ្នែករឹងទេ។ សូមយោងទៅផ្នែកនេះអំពីការប្រើកម្មវិធីបំប្លែងកូដនៅលើ Jetson។ នៅមុននេះ។view ស្ថាបនា រាល់ការប៉ុនប៉ងប្រើឧបករណ៍បំប្លែងផ្នែករឹងនឹងនាំឱ្យប្រព័ន្ធបង្កក។ បញ្ហានេះនឹងត្រូវបានជួសជុលនៅក្នុងការចេញផ្សាយផលិតកម្ម។ អ្នកក៏នឹងឃើញថាអង្គចងចាំដែលមាននឹងត្រូវបានបង្ហាញជា 6.3GB នៅមុននេះ។view បង្កើតជំនួសឱ្យ 8GB ។ នេះគឺដោយសារតែអង្គចងចាំមួយចំនួនដែលបានឆ្លាក់ចេញសម្រាប់គោលបំណងសុវត្ថិភាព។ NVIDIA នឹងធ្វើការដោះស្រាយបញ្ហានេះ ហើយនឹងយកមកវិញដោយស្វ័យប្រវត្តិនូវ memory carveout ដែលមិនប្រើប្រាស់។
ការចាប់ផ្ដើមដំបូងនៅលើមុននេះ។view រូបភាពនឹងណែនាំអ្នកតាមរយៈការសន្ទនាការកំណត់រចនាសម្ព័ន្ធដំបូង។ ឆ្លងកាត់ដំណើរការដំឡើងដំបូងសាមញ្ញ។ នៅពេលដែលការកំណត់រចនាសម្ព័ន្ធដំបូងត្រូវបានបញ្ចប់ ហើយឧបករណ៍អ្នកអភិវឌ្ឍន៍បានចាប់ផ្ដើមទៅកាន់ផ្ទៃតុ អ្នកអាចចាប់ផ្តើមរុករកឧបករណ៍អ្នកអភិវឌ្ឍន៍។
ឧបករណ៍អ្នកអភិវឌ្ឍន៍កំពុងដំណើរការ JetPack 5.1.1 (មុនការចេញផ្សាយ) ដែលមានសមាសធាតុដូចខាងក្រោមៈ
- CUDA 11.4
- TensorRT 8.5
- cuDNN 8.6
- VPI 2.2
- វ៉ុលកា ១.១
- ប្រព័ន្ធ Nsight 2022.5
- ក្រាហ្វិក Nsight 2022.6
នៅខាងស្តាំខាងលើនៃផ្ទៃតុ មានឧបករណ៍ជំនួយថាមពលfile អ្នកជ្រើសរើស។ នៅពេលចុច វាផ្តល់នូវម៉ឺនុយទម្លាក់ចុះនៃរបៀបថាមពលដែលបានកំណត់កម្មវិធីទាំងអស់សម្រាប់ឧបករណ៍អ្នកអភិវឌ្ឍន៍។ JetPack មកជាមួយ ច្រើន samples បានសាងសង់ឡើងនៅក្នុង។
ទាំងនេះ samples ផ្តល់នូវការជាមុនview និងសមត្ថភាពនៃសមាសធាតុ JetPack ផ្សេងៗគ្នា។
កំពុងដំណើរការ សន្ទស្សន៍ការសន្និដ្ឋាន
ទាញយកបាល់ tar ដែលមានឈ្មោះថា "benchmarking.tar.gz" ដែលត្រូវការសម្រាប់ការដាក់ពិន្ទុនេះពី នៅទីនេះ ហើយដកសំបកចេញ
| $ tar -xvf benchmarking.tar.gz |
រៀបចំតម្រូវការសម្រាប់ដំណើរការស្តង់ដារដោយធ្វើ៖
| $ cd benchmarking $ sudo bash install_requirements.sh |
សម្រាប់ការវាស់វែងស្អាត សូមចាប់ផ្តើមប្រព័ន្ធឡើងវិញ ហើយបន្ទាប់មកចាប់ផ្តើមការវាស់វែង។
ដំណើរការ Vision Model Benchmarks ដោយប្រើ៖
| $ sudo python3 benchmark.py –all –csv_file_path orin_nano_ptm.csv \\ –model_dir |
Exampលេ៖
| $ sudo python3 benchmark.py –all –csv_file_path orin_nano_ptm.csv \ –model_dir /home/nvidia/benchmarking/model_engines |
អ្នកនឹងទទួលបានលទ្ធផលស្រដៀងគ្នានឹងខាងក្រោមនៅពេលបញ្ចប់ការដាក់ពិន្ទុ។ សូមចំណាំថាការដាក់ពិន្ទុនឹងចំណាយពេលច្រើននាទីដើម្បីបញ្ចប់។
| គំរូ | ឈ្មោះ | FPS | |
| 0 | peoplenet | 110.102016 | |
| 1 | action_recog_2d | 382.461916 | |
| 2 | action_recog_3d | 25.946016 | |
| 3 | dashcamnet | 395.563297 | |
| 4 | bodyposen et | 135.222464 | |
| 5 | lpr_us | 981.867680 | |
ដំណើរការម៉ូដែល PeopleNet Transformer
យើងបានបង្កើតធុង DeepStream ជាមួយនឹងគំរូប្លែង PeopleNet ហើយបង្ហោះវានៅលើ NGC
ចូល NGC
| $ sudo docker ចូល nvcr.io |
ផ្តល់ឈ្មោះអ្នកប្រើប្រាស់ជា “$oauthtoken” និងពាក្យសម្ងាត់ជា
“MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj”
ដូចនេះ
ឈ្មោះអ្នកប្រើប្រាស់៖ $oauthtoken
ពាក្យសម្ងាត់៖
MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2O DFlMGRj
ទាញធុង
| $ sudo docker ទាញ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ទាញថត
ទាញយក tar ball ដែលមានឈ្មោះថា mount_dir ពី នៅទីនេះ ហើយស្រង់វានៅក្នុងថតផ្ទះរបស់អ្នក។ ថតនេះមានវីដេអូ files ដែលនឹងដើរតួជាលំហូរបញ្ចូលសម្រាប់ការសន្និដ្ឋាន។
| $tar -xvf mount_dir.tar.gz -C ${HOME}/ |
បន្ទាប់ពីការស្រង់ចេញ អ្នកគួរតែមានថតដែលមានឈ្មោះ "mount_dir" នៅក្នុងថតផ្ទះរបស់អ្នក។
រត់កុងតឺន័រ
| $ xhost + $ sudo docker ដំណើរការ -it –rm –name=ds_docker –net=host –runtime nvidia -e \\ DISPLAY=$DISPLAY -w /opt/nvidia/deepstream/deepstream-6.2 \\ -v /tmp/.X11-unix/:/tmp/.X11-unix -v $HOME/mount_dir:/mount_dir \\ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ដំណើរការម៉ូដែល
ដំណើរការពាក្យបញ្ជាខាងក្រោមនៅខាងក្នុងកុងតឺន័រ ដើម្បីចាប់ផ្តើមការសន្និដ្ឋាន
| $ cd /opt/nvidia/deepstream/deepstream-6.2/samples/configs/deepstream-app-triton $ deepstream-app -c source1_primary_detector_peoplenet_transformer.txt |
សូមចំណាំថាការកំណត់រចនាសម្ព័ន្ធ DeepStream ខាងលើ file ត្រូវបានកែប្រែដើម្បីរកមើលចរន្តបញ្ចូលក្នុង mount_dir។
ម៉ូដែលបំលែង PeopleNet D-DETR នេះបច្ចុប្បន្នជាគំរូ FP16 ហើយដំណើរការនៅ 8 FPS នៅលើ Jetson Orin Nano ដែលមានប្រយោជន៍សម្រាប់កម្មវិធីជាច្រើនដែលមិនត្រូវការការអនុវត្តពេលវេលាជាក់ស្តែង។ ម៉ូដែលនេះដំណើរការនៅប្រហែល 30 FPS នៅលើ Jetson AGX Orin ។ នៅពេលដែលការស្រាវជ្រាវបន្តលើម៉ូដែលប្លែងសម្រាប់ Vision ម៉ូដែលទាំងនេះនឹងត្រូវបានធ្វើឱ្យប្រសើរបន្ថែមទៀតសម្រាប់ដំណើរការនៅគែម។
NVIDIA Omniverse Replicator និង TAO
យើងបានបង្កើត cloud instances ខាងក្នុងសម្រាប់អ្នកដើម្បីដំណើរការ Isaac Sim និង TAO ។ សូមទាក់ទងមកយើងខ្ញុំនៅ JONREviewersTeam@nvidia.com សម្រាប់ព័ត៌មានបញ្ជាក់អត្តសញ្ញាណឧទាហរណ៍លើពពករបស់អ្នក។ ដើម្បីចូលប្រើវត្ថុខាងក្នុងនេះ វាត្រូវបានទាមទារដើម្បីដំឡើង VMWare Horizon Client ។ ដោយសារមិនមានកំណែ Arm របស់ម៉ាស៊ីនភ្ញៀវ VMWare យើងស្នើសុំឱ្យអ្នកប្រើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រផ្ទាល់ខ្លួនរបស់អ្នក ដើម្បីចូលប្រើអ៊ីនធឺណេតពពកខាងក្នុង ហើយដំណើរការតាមរយៈលំហូរការងារដែលយើងមានសម្រាប់អ្នក។
ការបង្កើតទិន្នន័យសំយោគ និងការបណ្តុះបណ្តាលគំរូ
អ្នកអាចប្រើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រណាមួយ (Windows, Linux, Mac ឬ Chromebook)។ សូមធ្វើតាមការណែនាំដោយយោងទៅឯកសារដែលមានឈ្មោះ “VMWare Horizon Client to Access Cloud Instance” ពី នៅទីនេះ ដើម្បីដំឡើងម៉ាស៊ីនភ្ញៀវ VMWare Horizon និងចូលប្រើ instance cloud ខាងក្នុង ហើយដំណើរការតាមរយៈ workflow ។ លំហូរការងារនឹងណែនាំអ្នកតាមរយៈការបង្កើតទិន្នន័យសំយោគដោយប្រើ Omniverse Replicator បន្ទាប់មកបណ្តុះបណ្តាល និងបង្កើនប្រសិទ្ធភាពការបែងចែកមនុស្សគំរូដែលបានបណ្តុះបណ្តាលជាមុនពី NGC លើទិន្នន័យសំយោគ ហើយបន្ទាប់មកទាញយកគំរូដែលបានបណ្តុះបណ្តាល។ នៅពេលដែលគំរូត្រូវបានទាញយកទៅកុំព្យូទ័ររបស់អ្នក សូមចម្លងគំរូទៅ Jetson ដោយធ្វើ "scp" ឬដោយប្រើឧបករណ៍ផ្ទុកដូចជា USB stick។
ការសន្និដ្ឋានលើ Jetson
សូមប្រាកដថាគំរូដែលអ្នកបានបណ្តុះបណ្តាលនៅលើពពក ហើយចម្លងទៅ Jetson ត្រូវបានដាក់ឈ្មោះថា “shuffleseg_exported.etlt”។
ទាញយក tar ball ដែលមានឈ្មោះថា mount_dir ពី នៅទីនេះ ហើយស្រង់វានៅក្នុងថតផ្ទះរបស់អ្នក (ប្រសិនបើអ្នកបានទាញយក mount_dir រួចហើយសម្រាប់ការបង្ហាញផ្សេងទៀត អ្នកអាចរំលងវាបាន)។
| $tar -xvf mount_dir.tar.gz -C ${HOME}/ |
ចម្លងគំរូទៅក្នុងថតឯកសារនេះ (ប្រសិនបើមានគំរូដែលមានស្រាប់រួចហើយ សូមជំនួសវាដោយគំរូដែលបានបណ្តុះបណ្តាលរបស់អ្នក)។ សូមចំណាំថាកម្មវិធី DeepStream ខាងក្រោមនឹងរកមើលស្ទ្រីមបញ្ចូល និងគំរូនៅក្នុង mount_dir ។ ផ្លាស់ប្តូរគំរូឱ្យមានសិទ្ធិអាន ប្រសិនបើមិនទាន់មានដោយពាក្យបញ្ជាដូចខាងក្រោម៖
| $ chmod +r shuffleseg_exported.etlt |
បន្ទាប់មកទាញធុង DeepStream ដោយធ្វើតាមការណែនាំខាងក្រោម។ ប្រសិនបើអ្នកបានទាញធុងសម្រាប់ការបង្ហាញពីមុនរួចហើយ អ្នកអាចរំលងជំហាននេះ។
ចូល NGC
| $ sudo docker ចូល nvcr.io |
ផ្តល់ឈ្មោះអ្នកប្រើប្រាស់ជា “$oauthtoken” និងពាក្យសម្ងាត់ជា
“MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj”
ដូចនេះ
ឈ្មោះអ្នកប្រើប្រាស់៖ $oauthtoken
ពាក្យសម្ងាត់៖
MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj
ទាញធុង
| $ sudo docker ទាញ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
រត់កុងតឺន័រ
| $ xhost + $ sudo docker ដំណើរការ -it –rm –name=ds_docker –net=host –runtime nvidia -e \\ DISPLAY=$DISPLAY -w /opt/nvidia/deepstream/deepstream-6.2 \\ -v /tmp/.X11-unix/:/tmp/.X11-unix -v $HOME/mount_dir:/mount_dir \\ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ដំណើរការការសន្និដ្ឋាន DeepStream
នៅខាងក្នុងកុងតឺន័រដំណើរការតាមពាក្យបញ្ជា។
គំរូដើម
ដំបូងយើងនឹងដំណើរការការសន្និដ្ឋានលើគំរូដើមពី NGC ដែលមិនត្រូវបានបណ្តុះបណ្តាលជាមុនជាមួយទិន្នន័យសំយោគ
| $ cd /opt/nvidia/deepstream_tao_apps
$ ./apps/tao_segmentation/ds-tao-segmentation -e -d \ |
អ្នកនឹងឃើញបង្អួចពីរនឹងលេចឡើង។ មួយបង្ហាញវីដេអូបញ្ចូល និងមួយទៀតបង្ហាញលទ្ធផលនៃការបែងចែកមនុស្សដូចបានបង្ហាញខាងក្រោម។ អ្នកអាចមើលឃើញពីរបៀបដែលគំរូមិនដំណើរការត្រឹមត្រូវ។
គំរូដែលបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគ
បន្ទាប់ដំណើរការការសន្និដ្ឋានលើគំរូដែលអ្នកបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគ។
| $ cd /opt/nvidia/deepstream_tao_apps $ ./apps/tao_segmentation/ds-tao-segmentation -e -d -c \ configs/peopleSemSegNet_tao/sdg_shuffle/pgie_unet_tlt_config_peoplesemsegnet_shuffleseg.txt \ -i file///mount_dir/carter_lower_perspective.mp4 |
អ្នកនឹងឃើញបង្អួចពីរនឹងលេចឡើង។ មួយបង្ហាញវីដេអូបញ្ចូល និងមួយទៀតបង្ហាញលទ្ធផលនៃការបែងចែកមនុស្សដូចបានបង្ហាញខាងក្រោម។ បើប្រៀបធៀបទៅនឹងលទ្ធផលដែលសន្និដ្ឋាននៅពេលដំណើរការគំរូដើម អ្នកអាចឃើញថាគំរូដែលបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគកំពុងដំណើរការបានត្រឹមត្រូវជាង។ សម្រាប់គោលបំណងនៃ Reviewយើងបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យសំយោគមានកំណត់ ដើម្បីកាត់បន្ថយពេលវេលាបណ្តុះបណ្តាលរង់ចាំអ្នក។
គំរូអាចត្រូវបានកែលម្អសម្រាប់ភាពត្រឹមត្រូវនៅពេលដែលត្រូវបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យសំយោគធំជាង។
ធនធានបន្ថែម
ការភ្ជាប់កាមេរ៉ា CSI
មានច្រក MIPI CSI-2 4-lane ចំនួនពីរនៅលើបន្ទះក្រុមហ៊ុនដឹកជញ្ជូន Jetson Orin Nano Developer Kit។ អ្នកនឹងត្រូវការឧបករណ៍ភ្ជាប់ 22-pin ទៅ 15-pin ប្រសិនបើកាមេរ៉ាមានឧបករណ៍ភ្ជាប់ 15-pin ។ សូមពិនិត្យមើលរូបភាពខាងក្រោមដោយប្រុងប្រយ័ត្នលើការតំរង់ទិសនៃខ្សែ នៅពេលភ្ជាប់ទៅរន្ធកាមេរ៉ា។
ការអ៊ិនកូដនៅលើ Jetson Orin Nano
Jetson Orin Nano មិនមានឧបករណ៍បំលែងកូដផ្នែករឹង NVIDIA (NVENC) ប៉ុន្តែយើងមានស៊ីភីយូ ARM A6AE 78-core ដែលអ្នកអាចដំណើរការការអ៊ិនកូដកម្មវិធីបាន។ អ្នកអាចប្រើ x264 enc ដើម្បីដំណើរការការអ៊ិនកូដ SW នៅក្នុងបំពង់របស់អ្នក។
ពាក្យបញ្ជាខាងក្រោមបង្ហាញពីការអ៊ិនកូដ H.264 SW ដោយប្រើកម្មវិធីជំនួយ x264enc ជាមួយនឹងការបញ្ចូលពីកម្មវិធីជំនួយកាមេរ៉ាដែលប្រើ Argus API ។
| $ gst-launch-1.0 nvarguscamerasrc ! \ 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \ format=(string)NV12, framerate=(ប្រភាគ)30/1' ! nvvidconv ! \ វីដេអូ/x-raw, format=I420 ! x264enc ! \ h264 ញែក! qtmux! fileលិច \ ទីតាំង=filename_h264.mp4> -e |
ប្រសិនបើអ្នកកំពុងប្រើ DeepStream នោះអ្នកអាចផ្លាស់ប្តូរប្រភេទអ៊ិនកូដដើម្បីប្រើការអ៊ិនកូដកម្មវិធី។ សម្រាប់អតីតample សូមមើលការបន្លិចខាងក្រោម
[sink0] #source0 លទ្ធផលជា fileលិចបើក = 1
#1=h264 2=h265
កូឌិក=១
# អ៊ិនកូដឌ័រប្រភេទ 0=ផ្នែករឹង 1=កម្មវិធី
enc-type=1
…
WebRTC Webក្របខ័ណ្ឌកម្មវិធី
សួស្តី AI World គឺជាការបង្រៀន និងបណ្ណាល័យស៊ីជម្រៅនៃប្រភពបើកចំហរសម្រាប់ចាប់ផ្តើមជាមួយនឹងការបណ្តុះបណ្តាល និងការដាក់ឱ្យប្រើប្រាស់ DNNs នៅលើ Jetson ។ វាប្រើ TensorRT សម្រាប់ការសន្និដ្ឋានតាមពេលវេលាជាក់ស្តែង និងមាន Python/C++ APIs ងាយស្រួលប្រើសម្រាប់ការចាត់ថ្នាក់ ការរកឃើញ ការបែងចែក ការប៉ាន់ប្រមាណ និងការទទួលស្គាល់សកម្មភាព រួមជាមួយនឹងការគាំទ្រសម្រាប់ចំណុចប្រទាក់កាមេរ៉ា និងឧបករណ៍វីដេអូផ្សេងៗ។
ថ្មីសម្រាប់ Hello AI World គឺមានភាពយឺតយ៉ាវទាប Webការផ្សាយបន្តផ្ទាល់វីដេអូ RTC ទៅ / ពី web browsers រួមជាមួយនឹង examples នៃការរួមបញ្ចូលជាមួយ Python-based ដ៏ពេញនិយម web ក្របខ័ណ្ឌរួមមាន Flask, Plotly Dash និង HTML5/JavaScript ។ នេះអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតអន្តរកម្មផ្ទាល់ខ្លួនរបស់ពួកគេយ៉ាងឆាប់រហ័ស webកម្មវិធី និងឧបករណ៍មើលឃើញទិន្នន័យពីចម្ងាយដែលដំណើរការដោយ Jetson និង edge AI នៅលើផ្នែកខាងក្រោយ។
ដើម្បីចាប់ផ្តើមជាមួយ Hello AI World នៅលើ Jetson Orin Nano Developer Kit របស់អ្នក សូមមើលតំណភ្ជាប់ខាងក្រោម៖
- https://github.com/dusty-nv/jetson-inference
- កំពុងដំណើរការ Docker Container
- ការបង្រៀននៅលើ Webក្របខ័ណ្ឌកម្មវិធី
ព័ត៌មានទំនាក់ទំនង NVIDIA
សំណួរណាមួយនៅពេលឡើងវិញviewនៅក្នុងឧបករណ៍អ្នកអភិវឌ្ឍន៍? អ៊ីមែល JONREviewersTeam@nvidia.com
ទំនាក់ទំនងសាធារណៈ NVIDIA ខាងជើង/អាមេរិកឡាទីន
លោក David Pinto
PR Manager, ម៉ាស៊ីនស្វយ័ត
ការិយាល័យ៖ ៤០៨ ៥៦៦ ៦៩៥០
dpinto@nvidia.com
លោក Michael Lim
នាយក, ទំនាក់ទំនងអ្នកវិភាគ
ការិយាល័យ៖ ៤០៨ ៥៦៦ ៦៩៥០
mlim@nvidia.com
Sridhar Ramaswamy
នាយកជាន់ខ្ពស់ ទីផ្សារបច្ចេកទេសសហគ្រាស
និង Reviews
ក្រឡា៖ 510 545 3774
sramaswamy@nvidia.com
ទំនាក់ទំនងសាធារណៈ NVIDIA អឺរ៉ុប
| លោក Jens Neuschäfer អ្នកគ្រប់គ្រងជាន់ខ្ពស់ PR ការិយាល័យ Enterprise Europe: +49 89 6283 50015 ទូរសព្ទ៖ +49 173 6282912 jneuschafer@nvidia.com NVIDIA GmbH ផ្ទះ 1 ខាងលិច ជាន់ទី 3 Flössergasse 2 81369 ទីក្រុង Munich ប្រទេសអាល្លឺម៉ង់ |
លោក Rick Napier អ្នកគ្រប់គ្រងផលិតផលបច្ចេកទេសជាន់ខ្ពស់នៅអឺរ៉ុបខាងជើង ការិយាល័យ៖ +44 (118) 9184378 ទូរស័ព្ទ៖ +44 (7917) 630172 rnapier@nvidia.com NVIDIA ចក្រភពអង់គ្លេស 100 Brook Drive Green Park Reading RG2 6UJ |
NVIDIA ទំនាក់ទំនងសាធារណៈអាស៊ី/ប៉ាស៊ីហ្វិក
| លោក Jeff Yen នាយកទីផ្សារបច្ចេកទេស APAC ការិយាល័យ៖ +886 987 263 193 |
Melody Tu នាយក PR, APAC ការិយាល័យ៖ +65 93551454
|
| ស្វែងរកស៊ី Sr. Technical Marketing Manager, China ការិយាល័យ៖ +86 75586919016 5F Block 8 VISEEN BUSINESSPARK 9 HIGH-TECH 9th South Road SHENZHEN HI-TECH IND។ ឧទ្យាន SHENZHEN, GUANGDONG Shenzhen 518057 ប្រទេសចិន |
អាឡិច លីវ PR/Marketing Manager, ប្រទេសចិន ការិយាល័យ៖ +86 1058661510
|
| គីល គីម Sr. Technical Marketing Manager, Korea ការិយាល័យ៖ +82 2 6001 7186 kylek@nvidia.com |
សាន់នីលី នាយកទីផ្សារប្រទេសកូរ៉េ ការិយាល័យ៖ +82 2 6001 7123
|
| Kaori Nakamura ប្រធានផ្នែកទំនាក់ទំនងសាធារណៈប្រទេសជប៉ុន ការិយាល័យ៖ +81 3 6743 8712 ATT New Tower 13F |
ម៉ាសាគី សាវ៉ៃ អ្នកគ្រប់គ្រងទីផ្សារបច្ចេកទេស ប្រទេសជប៉ុន ការិយាល័យ៖ +81 3 6743 8717
|
| លោក John Gillooly
អ្នកគ្រប់គ្រងបច្ចេកទេសទីផ្សារអាស៊ីប៉ាស៊ីហ្វិកខាងត្បូង ការិយាល័យ៖ +65 8286 8727 |
ទីតុស ស៊ូ អ្នកគ្រប់គ្រងទីផ្សារបច្ចេកទេស TASA ការិយាល័យ៖ +886 2 6605 5430 |
សេចក្តីជូនដំណឹង
រាល់ព័ត៌មានដែលមាននៅក្នុង RE នេះ។VIEWមគ្គុទ្ទេសក៍របស់ ER រួមទាំងការអត្ថាធិប្បាយ មតិយោបល់ ការកំណត់ជាក់លាក់នៃការរចនា NVIDIA បន្ទះយោង FILES, គំនូរ, ការវិភាគ, បញ្ជី, និងឯកសារផ្សេងទៀត (រួមគ្នានិងដោយឡែកពីគ្នា, "សម្ភារៈ") កំពុងត្រូវបានផ្តល់ជូន "ដូចដែលមាន" ។ NVIDIA មិនធ្វើការធានា បញ្ជាក់ បង្កប់ន័យ លក្ខន្តិកៈ ឬបើមិនដូច្នេះទេ ដោយការគោរពចំពោះសម្ភារៈ និងបដិសេធជាបន្ទាន់នូវការធានាដោយប្រយោលទាំងអស់នៃភាពគ្មានការរំលោភបំពាន សុវត្ថិភាពពាណិជ្ជកម្ម ផាសុខភាព។
ព័ត៌មានដែលបានបំពាក់មកត្រូវបានគេជឿថាមានភាពត្រឹមត្រូវ និងអាចទុកចិត្តបាន។ ទោះជាយ៉ាងណាក៏ដោយ សាជីវកម្ម NVIDIA មិនទទួលខុសត្រូវចំពោះផលវិបាកនៃការប្រើប្រាស់ព័ត៌មានទាំងនោះ ឬសម្រាប់ការរំលោភលើប៉ាតង់ ឬសិទ្ធិផ្សេងទៀតរបស់ភាគីទីបីដែលអាចបណ្តាលមកពីការប្រើប្រាស់របស់វា។ គ្មានអាជ្ញាប័ណ្ណណាមួយត្រូវបានផ្តល់ដោយការជាប់ពាក់ព័ន្ធ ឬបើមិនដូច្នេះទេនៅក្រោមប៉ាតង់ ឬសិទ្ធិប៉ាតង់ណាមួយរបស់សាជីវកម្ម NVIDIA ។ លក្ខណៈពិសេសដែលបានរៀបរាប់នៅក្នុងការបោះពុម្ពផ្សាយនេះគឺជាកម្មវត្ថុនៃការផ្លាស់ប្តូរដោយមិនមានការជូនដំណឹង។ ការបោះពុម្ពផ្សាយនេះជំនួស និងជំនួសព័ត៌មានទាំងអស់ដែលបានផ្តល់ពីមុន។ ផលិតផលសាជីវកម្ម NVIDIA មិនត្រូវបានអនុញ្ញាតឱ្យប្រើជាសមាសធាតុសំខាន់នៅក្នុងឧបករណ៍ ឬប្រព័ន្ធទ្រទ្រង់ជីវិត ដោយគ្មានការយល់ព្រមជាលាយលក្ខណ៍អក្សរពីសាជីវកម្ម NVIDIA ឡើយ។
ពាណិជ្ជសញ្ញា
NVIDIA, ស្លាកសញ្ញា NVIDIA, GeForce, Tegra និង Jetson គឺជាពាណិជ្ជសញ្ញា និង/ឬពាណិជ្ជសញ្ញាដែលបានចុះបញ្ជីរបស់សាជីវកម្ម NVIDIA នៅសហរដ្ឋអាមេរិក និងប្រទេសដទៃទៀត។ រក្សាសិទ្ធិគ្រប់យ៉ាង។ ឈ្មោះក្រុមហ៊ុន និងផលិតផលផ្សេងទៀតអាចជាពាណិជ្ជសញ្ញារបស់ក្រុមហ៊ុនរៀងៗខ្លួនដែលពួកគេត្រូវបានភ្ជាប់។
រក្សាសិទ្ធិ
© 2023 NVIDIA សាជីវកម្ម។ រក្សារសិទ្ធគ្រប់យ៉ាង។
ឯកសារ/ធនធាន
 |
កញ្ចប់អ្នកអភិវឌ្ឍន៍ NVIDIA Jetson Orin Nano [pdf] ការណែនាំអ្នកប្រើប្រាស់ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano, Jetson Orin Nano, កញ្ចប់អ្នកអភិវឌ្ឍន៍, Orin Nano Developer Kit, Nano Developer Kit |
