កញ្ចប់អ្នកអភិវឌ្ឍន៍ NVIDIA Jetson Orin Nano
ការណែនាំ NVIDIA® Jetson Orin™ Nano Developer Kit
NVIDIA® Jetson Orin™ Nano Developer Kit កំណត់ស្តង់ដារថ្មីសម្រាប់បង្កើតមនុស្សយន្តដែលដំណើរការដោយ AI កម្រិតដំបូង យន្តហោះគ្មានមនុស្សបើកឆ្លាតវៃ និងកាមេរ៉ាឆ្លាតវៃ ហើយជួយសម្រួលដល់ការចាប់ផ្តើមជាមួយនឹងវេទិកា NVIDIA Jetson ។ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano ផ្តល់នូវដំណើរការឈានមុខគេក្នុងថ្នាក់រហូតដល់ 40 TOPS ក្នុងទម្រង់បង្រួមរួមជាមួយនឹងឧបករណ៍ភ្ជាប់ IO ជាច្រើនដែលធ្វើឱ្យវាក្លាយជាឧបករណ៍អ្នកអភិវឌ្ឍន៍ដ៏ល្អឥតខ្ចោះសម្រាប់បំប្លែងគំនិតប្រកបដោយចក្ខុវិស័យរបស់អ្នកឱ្យទៅជាការពិត។ NVIDIA Jetson Orin Nano ផ្តល់អត្ថប្រយោជន៍សំខាន់ៗដូចខាងក្រោមៈ
- រហូតដល់ 80X នៃដំណើរការ AI នៃ NVIDIA® Jetson Nano™ ជំនាន់មុន។
- គាំទ្រម៉ូដែល AI ជាច្រើនប្រភេទ រួមទាំងឧបករណ៍បំលែង និងម៉ូដែលមនុស្សយន្តកម្រិតខ្ពស់។
- ពេលវេលាទៅទីផ្សារកាន់តែលឿនជាមួយកម្មវិធី NVIDIA AI ។
កញ្ចប់អ្នកអភិវឌ្ឍន៍រួមមានម៉ូឌុល Jetson Orin Nano 8GB និងបន្ទះក្រុមហ៊ុនដឹកជញ្ជូនឯកសារយោងដែលអាចគាំទ្រគ្រប់ម៉ូឌុល Jetson Orin Nano និង Orin NX ដោយផ្តល់នូវវេទិកាដ៏ល្អសម្រាប់បង្កើតគំរូផលិតផល AI ជំនាន់ក្រោយ។ ម៉ូឌុល Jetson Orin Nano 8GB មានលក្ខណៈពិសេស NVIDIA® Ampere GPU (ជាមួយ 1024 CUDA® cores និង 32 ជំនាន់ទីបី Tensor cores) និង 6-core ARM CPU ដែលមានសមត្ថភាពដំណើរការបំពង់កម្មវិធី AI ដំណាលគ្នាជាច្រើន និងផ្តល់នូវដំណើរការសន្និដ្ឋានខ្ពស់។ បន្ទះក្រុមហ៊ុនដឹកជញ្ជូនដែលរួមបញ្ចូលនៅក្នុងឧបករណ៍អ្នកអភិវឌ្ឍន៍បានភ្ជាប់មកជាមួយនូវឧបករណ៍ភ្ជាប់ដ៏ធំទូលាយ រួមទាំងឧបករណ៍ភ្ជាប់ MIPI CSI ចំនួនពីរដែលគាំទ្រម៉ូឌុលកាមេរ៉ាដែលមានរហូតដល់ 4-lanes ដែលអនុញ្ញាតឱ្យមានគុណភាពបង្ហាញខ្ពស់ និងអត្រាស៊ុម។
កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano មានតម្លៃ $499 ហើយអាចរកទិញបានតាមរយៈអ្នកចែកចាយដែលមានការអនុញ្ញាតពី NVIDIA នៅទូទាំងពិភពលោក។
ខ្លឹមសារនៃកញ្ចប់អ្នកអភិវឌ្ឍន៍
- ម៉ូឌុល Jetson Orin Nano 8GB ជាមួយឧបករណ៍ផ្ទុកកំដៅ និងបន្ទះបញ្ជូនឯកសារយោង
- ការផ្គត់ផ្គង់ថាមពលឌីស៊ី
- ឧបករណ៍បញ្ជាចំណុចប្រទាក់បណ្តាញឥតខ្សែ 802.11ac/abgn
- មគ្គុទ្ទេសក៍ចាប់ផ្តើមរហ័ស
លក្ខណៈពិសេសរបស់ Jetson Orin Nano Developer Kit
| ម៉ូឌុល | ម៉ូឌុល Orin Nano 8GB |
| GPU | NVIDIA Ampស្ថាបត្យកម្ម ere ជាមួយ 1024 NVIDIA® CUDA® cores និង 32 ស្នូល Tensor |
| ស៊ីភីយូ | ស៊ីភីយូ 6-core Arm Cortex-A78AE v8.2 64-bit 1.5MB L2 + 4MB L3 |
| ការចងចាំ | 8GB 128-bit LPDDR5 68 GB/s |
| ការផ្ទុក | ខាងក្រៅតាមរយៈរន្ធដោត microSD NVMe ខាងក្រៅតាមរយៈ M.2 Key M |
តារាងទី 1 Jetson Orin Nano Developer Kit Module Specs
| ថាមពល | ពី 7W ទៅ 15W |
តារាងទី 1 Jetson Orin Nano Developer Kit Carrier Specs
| ក្រុមប្រឹក្សាអ្នកដឹកជញ្ជូនឯកសារយោង៖ | |
| កាមេរ៉ា | 2x MIPI CSI-2 ឧបករណ៍ភ្ជាប់កាមេរ៉ា 22-pin |
| M.2 គន្លឹះ M | x4 PCIe Gen 3 |
| M.2 គន្លឹះ M | x2 PCIe Gen3 |
| M.2 គន្លឹះ E | PCIe (x1), USB 2.0, UART, I2S និង I2C |
| យូអេសប៊ី | ប្រភេទ A៖ 4x USB 3.2 Gen2 វាយ C: 1x សម្រាប់ Debug និង Device Mode |
| បណ្តាញ | ឧបករណ៍ភ្ជាប់ 1x Gbe |
| បង្ហាញ | DisplayPort 1.2 (+MST) |
| រន្ធដោត microSD | កាត UHS-1 រហូតដល់របៀប SDR104 |
| ផ្សេងៗ | ក្បាលក្បាលពង្រីក 40-Pin (UART, SPI, I2S, I2C, GPIO) ក្បាលកង្ហារ 12-pin ប៊ូតុង 4-pin រន្ធថាមពល DC |
| វិមាត្រ | 100 មម x 79 មម x 21 មម (កម្ពស់រួមមានជើង ក្តារដឹកជញ្ជូន ម៉ូឌុល និងដំណោះស្រាយកម្ដៅ) |
សូមមើលផ្នែក ការដំឡើង Jetson របស់អ្នក។ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Orin Nano នៅក្នុងឧបសម្ព័ន្ធអំពីរបៀបដំឡើងកម្មវិធីយ៉ាងងាយស្រួល
កញ្ចប់អ្នកអភិវឌ្ឍន៍។
ស្តង់ដារការអនុវត្តថ្មីសម្រាប់កម្មវិធី AI កម្រិតចូល
សមត្ថភាព AI ខ្ពស់រហូតដល់ 80X
ថាមពលមានប្រសិទ្ធភាព Jetson Orin Nano 8GB System-on-Module (SoM) ផ្តល់ថាមពលដល់ទៅ 40 INT8 TOPS នៃដំណើរការ AI ក្នុងកញ្ចប់ថាមពល 15-Watt ដែលជាល្បឿន 80X ជាង Jetson Nano1 ជំនាន់មុន។ សម្រាប់កម្មវិធីដែលទាមទារភាពជាក់លាក់ FP32 Orin Nano 8GB ផ្តល់នូវ FP5 CUDA TFLOPS របស់ Jetson Nano ច្រើនជាង 32X និងជាមួយនឹង Cores CPU Arm® A78 ចំនួនប្រាំមួយ វាផ្តល់នូវដំណើរការស៊ីភីយូស្ទើរតែ 7X ។ សម្រាប់ការរចនាដែលមានតម្រូវការថាមពលទាប ឧបករណ៍អ្នកអភិវឌ្ឍន៍អាចត្រូវបានលៃតម្រូវសម្រាប់ power profiles ទាបរហូតដល់ 7W ។ Jetson Orin Nano ផ្តល់នូវប្រសិទ្ធភាពថាមពលមិនគួរឱ្យជឿ ហើយមានប្រសិទ្ធភាពថាមពលជាង Jetson Nano ស្ទើរតែ 50X សម្រាប់ដំណើរការ AI ។
នៅលើស្តង់ដារឧស្សាហកម្ម MLPerf benchmark, Jetson AGX Orin នៅពេលចាប់ផ្តើមនៅខែមេសាឆ្នាំ 2022 បានផ្តល់នូវលទ្ធផលល្អបំផុតនៅក្នុងថ្នាក់ការសន្និដ្ឋានដែលខ្ពស់ជាង Jetson AGX Xavier ជំនាន់មុន 5X ។ ចាប់តាំងពីពេលនោះមក ដោយសារការអាប់ដេតផ្នែកទន់ជាបន្តបន្ទាប់ទៅ JetPack និង NVIDIA AI stack ប្រសិទ្ធភាពថាមពលរបស់ AGX Orin បានប្រសើរឡើងបន្ថែមទៀតស្ទើរតែ ៥០ ភាគរយ។ We also have seen up to 54% performance improvements on benchmarks we have run on Jetpack 5.0.2 compared to JetPack 5.1.1 that we will be releasing soon
ស្ថាបត្យកម្ម NVIDIA AI ដូចគ្នាដែលផ្តល់ថាមពលដល់ម៉ូឌុល Jetson AGX Orin ឈានមុខគេឥឡូវនេះអាចចូលប្រើបានសម្រាប់ក្រុមអ្នកអភិវឌ្ឍន៍ និងអ្នកដែលចូលចិត្ត AI កាន់តែច្រើនតាមរយៈវេទិកា NVIDIA Jetson Orin Nano ។ Jetson Orin Nano ផ្តល់នូវដំណើរការដ៏អស្ចារ្យនៅលើម៉ូដែល AI និងកុំព្យូទ័រដែលពេញនិយមជាច្រើនដែលទាក់ទងទៅនឹង Jetson Nano ជំនាន់មុន ដែលអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតមនុស្សយន្តដែលដំណើរការដោយ AI កម្រិតដំបូង យន្តហោះគ្មានមនុស្សបើកឆ្លាតវៃ និងកាមេរ៉ាឆ្លាតវៃ។
នៅពេលវាស់លើបណ្តាញពេញនិយមដែលបានរាយខាងក្រោមដែលត្រូវបានគេប្រើយ៉ាងទូលំទូលាយនៅក្នុងកម្មវិធី AI និងមនុស្សយន្ត Jetson Orin Nano 8GB ជាមធ្យមផ្តល់នូវដំណើរការរបស់ Jetson Nano ស្ទើរតែ 30X ហើយយើងរំពឹងថាការនាំនេះនឹងប្រសើរឡើងដល់ស្ទើរតែ 45X ជាមួយនឹងការបន្តបង្កើនប្រសិទ្ធភាព និងការធ្វើឱ្យប្រសើរឡើងផ្នែកទន់នៅក្នុង ទាំង JetPack និង NVIDIA AI stack ។
- NVIDIA PeopleNet v2.3 សម្រាប់ការរកឃើញមនុស្សដែលកាត់ចេញ និង NVIDIA PeopleNet v2.5 សម្រាប់ខ្ពស់បំផុត
ការរកឃើញភាពត្រឹមត្រូវរបស់មនុស្ស - NVIDIA ActionRecognitionNet ម៉ូដែល 2D និង 3D
- NVIDIA LPRNet សម្រាប់ការទទួលស្គាល់ស្លាកលេខ
- NVIDIA DashCamNet, BodyPoseNet សម្រាប់ការប៉ាន់ប្រមាណមនុស្សច្រើននាក់
- ResNet-50 គំរូ (224 × 224)
ការអនុវត្តលើ Vision AI និង Conversational AI Models
2 ការកើនឡើងនៃការអនុវត្តដែលទាក់ទងតំណាងឱ្យមធ្យមធរណីមាត្រនៃការកើនឡើងនៃការអនុវត្តដែលត្រូវបានវាស់វែងនៅទូទាំងបណ្តាញសរសៃប្រសាទដែលត្រៀមរួចជាស្រេចសម្រាប់ការបណ្តុះបណ្តាល និងគំរូការសន្និដ្ឋាន។
សេចក្តីណែនាំសម្រាប់ការដំណើរការស្តង់ដារខាងលើនៅលើ Jetson Orin Nano មាននៅក្នុង កំពុងដំណើរការ សន្ទស្សន៍ការសន្និដ្ឋាន ផ្នែកនៃឧបសម្ព័ន្ធ។
ដំណើរការម៉ូដែល AI កាត់គែម
Jetson Orin Nano Developer Kit ជាមួយនឹងការដំណើរការ AI ដល់ទៅ 40 TOPS គឺជាវេទិកា AI គែមដែលអាចប្រើបានច្រើនបំផុតដែលគាំទ្រមិនត្រឹមតែម៉ូដែល AI ដ៏ពេញនិយមដែលប្រើក្នុងកម្មវិធី edge AI ប៉ុណ្ណោះទេ ប៉ុន្តែក៏មានម៉ូដែលទំនើបថ្មីៗដូចជា Transformers ដែលកំពុងបង្កើតភាពរំភើបជាច្រើនផងដែរ។ នៅក្នុងឧស្សាហកម្ម AI ។ ឧបករណ៍ Edge ដំណើរការដោយ Jetson Orin Nano អាចដំណើរការក្នុងមូលដ្ឋាននូវម៉ូដែល Transformer AI ដែលជាមូលដ្ឋានសម្រាប់កម្មវិធី AI ជំនាន់ថ្មីដូចជា Chat GPT និង DALL-E ។ សមត្ថភាពនេះក្នុងការដំណើរការម៉ូដែល AI ទំនើប និងតម្រូវការក្នុងស្រុកនៅលើឧបករណ៍ អនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតដំណោះស្រាយដែលមិនអាស្រ័យលើម៉ាស៊ីនមេដ៏មានឥទ្ធិពលនៅក្នុងមជ្ឈមណ្ឌលទិន្នន័យ និងប្រើប្រាស់ដំណោះស្រាយទាំងនេះសម្រាប់ប្រតិបត្តិការស្វយ័តដោយមិនគិតពីការតភ្ជាប់បណ្តាញ។
Transformers គឺជាប្រភេទស្ថាបត្យកម្មបណ្តាញសរសៃប្រសាទដែលកំពុងទទួលបានប្រជាប្រិយភាពក្នុងប៉ុន្មានឆ្នាំថ្មីៗនេះ ជាពិសេសសម្រាប់កិច្ចការដំណើរការភាសាធម្មជាតិ (NLP)។ នៅក្នុងវិស័យនៃចក្ខុវិស័យកុំព្យូទ័រ បណ្តាញសរសៃប្រសាទ convolutional (CNNs) គឺជាវិធីសាស្រ្តលេចធ្លោអស់រយៈពេលជាច្រើនឆ្នាំមកហើយ។ ទោះជាយ៉ាងណាក៏ដោយ ភាពជោគជ័យនៃម៉ូដែលប្លែងនៅក្នុង NLP បាននាំឱ្យអ្នកស្រាវជ្រាវថ្មីៗនេះចាប់ផ្តើមស្វែងយល់ពីការប្រើប្រាស់គំរូប្លែងសម្រាប់កិច្ចការចក្ខុវិស័យ ជាមួយនឹងលទ្ធផលដ៏ជោគជ័យ។
ម៉ូដែល Transformer មានភាពរឹងមាំជាងមុនក្នុងការគ្រប់គ្រងទិន្នន័យគ្មានសម្លេង ដោះស្រាយជាមួយទិន្នន័យថ្មីដែលមើលមិនឃើញពីមុន ហើយត្រូវបានគេរកឃើញថាផ្តល់នូវភាពត្រឹមត្រូវកាន់តែប្រសើរឡើងនៅក្នុងស្ថានភាពដែលភាពត្រឹមត្រូវនៃម៉ូដែល CNN ប្រពៃណីធ្លាក់ចុះយ៉ាងខ្លាំង។ ម៉ូដែល Transformer មានទម្ងន់ធ្ងន់ ហើយត្រូវការការគណនាយ៉ាងច្រើន ដើម្បីហ្វឹកហាត់ និងដាក់ពង្រាយនៅលើគែម។ នៅពេលដែលការស្រាវជ្រាវនៅក្នុងម៉ូដែលដែលមានមូលដ្ឋានលើ Transformer សម្រាប់ចក្ខុវិស័យកុំព្យូទ័រ និងផ្នែកផ្សេងទៀតនៅតែបន្ត ហើយម៉ូដែលដែលបានកែលម្អថ្មីត្រូវបានបង្កើតឡើង បន្ទាត់ផលិតផល Jetson Orin ដែលអាចប្រើប្រាស់បាន និងមានថាមពលខ្លាំងនឹងអាចដំណើរការបាននូវម៉ូដែលថ្មីជាងនេះជាច្រើន។
DEMO៖ គំរូ Transformer សម្រាប់ការរកឃើញមនុស្ស
យើងបានវេចខ្ចប់ការបង្ហាញសម្រាប់អ្នកដើម្បីដំណើរការគំរូបំលែង PeopleNet D-DETR នៅលើឧបករណ៍អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano របស់អ្នក។ NVIDIA ផ្តល់ជូននូវម៉ូដែលដែលមានមូលដ្ឋានលើប្លែងជាច្រើននៅលើ NGC រួមទាំងគំរូការរកឃើញមនុស្សនេះដោយផ្អែកលើ DETR ដែលអាចខូចទ្រង់ទ្រាយបាន។ DETR (DEtection TRAnsformer) ជំនួសបណ្តាញសំណើតំបន់ប្រពៃណី (RPN) ដែលប្រើក្នុងគំរូការរកឃើញវត្ថុដែលមានមូលដ្ឋានលើ CNN ជាមួយនឹងស្ថាបត្យកម្មបំប្លែង-ឌិកូដឌ័រដែលមានមូលដ្ឋានលើប្លែង។ គំរូប្លែង PeopleNet គឺផ្អែកលើឧបករណ៍រាវរកវត្ថុ DETR ដែលអាចខូចទ្រង់ទ្រាយជាមួយ ResNet50 ជាឧបករណ៍ទាញយកលក្ខណៈពិសេស។ ស្ថាបត្យកម្មនេះប្រើប្រាស់ម៉ូឌុលយកចិត្តទុកដាក់ដែលចូលរួមតែសំណុំគន្លឹះតូចមួយប៉ុណ្ណោះ។ampling ចំណុចជុំវិញឯកសារយោងមួយ; នេះបង្កើនប្រសិទ្ធភាពការបណ្តុះបណ្តាល និងល្បឿនការសន្និដ្ឋាន។
ដំណើរការគំរូប្លែង PeopleNet D-DETR ដោយយោងទៅ ម៉ូដែល Peoplenet Transformer ផ្នែកនៅក្នុងឧបសម្ព័ន្ធ
ពន្លឿនការអភិវឌ្ឍន៍ AI
ខ្សែបន្ទាត់ NVIDIA Jetson Orin ដែលមានអនុភាពត្រូវបានគាំទ្រដោយកម្មវិធី NVIDIA AI ដ៏ទូលំទូលាយដូចគ្នាដែលផ្តល់ថាមពលដល់ម៉ាស៊ីនមេមជ្ឈមណ្ឌលទិន្នន័យដែលមានមូលដ្ឋានលើ NVIDIA GPU ស្ថានីយការងារ AI កុំព្យូទ័រលេងហ្គេម GeForce និងផលិតផលគ្រួសារ Jetson ទាំងមូល។ ជង់កម្មវិធី NVIDIA AI រួមមានកញ្ចប់កម្មវិធីអភិវឌ្ឍន៍កម្មវិធី (SDK) ជាច្រើនប្រភេទ ឧបករណ៍ បណ្ណាល័យ គំរូដែលបានបណ្តុះបណ្តាល និងធុងដែលមិនត្រឹមតែបង្កើនល្បឿនកម្មវិធី AI ប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងអាចឱ្យដំណើរនៃការអភិវឌ្ឍន៍យ៉ាងរលូនពីគំនិតរហូតដល់ការដាក់ពង្រាយផលិតកម្ម។ ជង់កម្មវិធីដ៏ទូលំទូលាយរួមជាមួយនឹងឯកសារលម្អិត ការបង្រៀន sample applications, containers, និង GitHub repos អនុញ្ញាតឱ្យសូម្បីតែអ្នកអភិវឌ្ឍន៍ដែលមិនសូវមានជំនាញ AI ដើម្បីបង្កើតកម្មវិធី AI ដែលត្រៀមរួចជាស្រេចសម្រាប់ការដាក់ពង្រាយគែម។
ជង់កម្មវិធី NVIDIA AI ផ្តល់នូវដំណោះស្រាយដើម្បីបង្កើនល្បឿនផ្នែកនីមួយៗនៃដំណើរអភិវឌ្ឍកម្មវិធី AI ដោយចាប់ផ្តើមជាមួយឧបករណ៍ដូចជា NVIDIA Omniverse Replicator សម្រាប់ការបង្កើតទិន្នន័យដែលប្រើក្នុងការបណ្តុះបណ្តាល AI model, NVIDIA TAO ដែលសម្រួលដល់ការបណ្តុះបណ្តាលជាក់ស្តែង និងការបង្កើនប្រសិទ្ធភាពនៃម៉ូដែល AI និង NVIDIA TensorRT សម្រាប់ការដាក់ពង្រាយគំរូ AI ។ SDKs ជាក់លាក់នៃដែនដូចជា NVIDIA DeepStream, NVIDIA Riva, NVIDIA Isaac និងផ្សេងទៀតជួយក្នុងការអភិវឌ្ឍន៍លំហូរការងារ និងកម្មវិធីពីចុងដល់ចប់។ NVIDIA បន្តវិនិយោគលើកម្មវិធី AI របស់ខ្លួនដើម្បីនាំយកសមត្ថភាពថ្មីសម្រាប់អ្នកអភិវឌ្ឍន៍។
ការអភិវឌ្ឍគំរូ AI
ភាពត្រឹមត្រូវនៃគំរូ AI អាស្រ័យយ៉ាងខ្លាំងទៅលើបរិមាណ និងគុណភាពនៃទិន្នន័យដែលបានប្រើសម្រាប់ការបណ្តុះបណ្តាល។ ការប្រមូលទិន្នន័យមួយចំនួនធំនៅក្នុងសេណារីយ៉ូផ្សេងៗគ្នា ហើយបន្ទាប់មកដាក់ស្លាកពួកគេសម្រាប់ការបណ្តុះបណ្តាលគឺជាការងារដ៏លំបាកមួយ ហើយធ្វើឱ្យពេលវេលាយឺតយ៉ាវក្នុងការទីផ្សារ។ NVIDIA Omniverse Replicator សម្រាប់ការបង្កើតទិន្នន័យសំយោគជួយបង្កើតសំណុំទិន្នន័យដែលមានគុណភាពខ្ពស់ ដើម្បីបង្កើនការបណ្តុះបណ្តាលគំរូ។ សំណុំទិន្នន័យដែលបានបង្កើត ឬបន្ថែមដោយទិន្នន័យសំយោគដំណើរការយ៉ាងរលូនជាមួយ NVIDIA ប្រអប់ឧបករណ៍ Train-Adapt-Optimize (TAO) ដើម្បីបណ្ដុះបណ្ដាល និងបង្កើនប្រសិទ្ធភាពគំរូផ្ទាល់ខ្លួន ឬមួយក្នុងចំនោមជាច្រើន។ ម៉ូដែលដែលបានបណ្តុះបណ្តាលមុន (PTM) បង្ហោះនៅលើ NGC™ (NVIDIA GPU Cloud)។
ការចេញផ្សាយ NVIDIA TAO ថ្មីៗនេះបានបន្ថែមការគាំទ្រសម្រាប់ AutoML ដែលអាចឱ្យអ្នកអភិវឌ្ឍន៍មានភាពងាយស្រួលក្នុងការបណ្តុះបណ្តាលម៉ូដែល AI ដោយមិនចាំបាច់ឆ្លងកាត់ការរំខាននៃការកែតម្រូវរាប់រយប៉ារ៉ាម៉ែត្រដោយដៃ ដូច្នេះកាត់បន្ថយពេលវេលាដែលត្រូវការដើម្បីបង្កើនប្រសិទ្ធភាពគំរូមួយ។ ការចេញផ្សាយចុងក្រោយបំផុតក៏បានអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍នាំយកគំរូផ្ទាល់ខ្លួនរបស់ពួកគេ និងបំប្លែងគំរូប្រភពបើកចំហ ONNX (Open Neural Network Exchange) ទៅជាគំរូដែលត្រូវគ្នានឹង TAO ។ ការចេញផ្សាយនេះក៏អនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍អាចចូលប្រើសេវាកម្មកញ្ចប់ឧបករណ៍ TAO តាមរយៈ REST API ដែលធ្វើឱ្យវាកាន់តែងាយស្រួលសម្រាប់ពួកគេក្នុងការរួមបញ្ចូល TAO ទៅក្នុងវដ្តជីវិតគំរូ AI របស់ពួកគេ។
កញ្ចប់អ្នកអភិវឌ្ឍន៍កម្មវិធីដ៏មានឥទ្ធិពល
ជង់កម្មវិធី NVIDIA AI ភ្ជាប់មកជាមួយ SDKs ជាច្រើនដែលជួយអ្នកអភិវឌ្ឍន៍យ៉ាងងាយស្រួលបង្កើតកម្មវិធី AI ដែលបង្កើនល្បឿនពេញលេញ។ SDK សំខាន់ៗចំនួនបីដែលជួយក្នុងការអភិវឌ្ឍន៍ចក្ខុវិស័យ មនុស្សយន្ត និងការសន្ទនា AI ត្រូវបានរំលេចខាងក្រោម។
NVIDIA DeepStream SDK ផ្តល់នូវក្របខ័ណ្ឌផ្អែកលើ gstreamer សម្រាប់បង្កើតកម្មវិធីដែលអាចវិភាគវីដេអូស្ទ្រីមជាច្រើនក្នុងពេលវេលាជាក់ស្តែង។ DeepStream ផ្តល់នូវការបង្កើនល្បឿនផ្នែករឹងសម្រាប់ច្រើនជាងការសន្និដ្ឋាន - វារួមបញ្ចូលការបង្កើនល្បឿនផ្នែករឹង plugins សម្រាប់ការបង្កើនល្បឿនបំពង់ AI ពីចុងដល់ចុង។ SDK ឥឡូវនេះរួមបញ្ចូលការគាំទ្រសម្រាប់ REST APIs សម្រាប់ការគ្រប់គ្រងបំពង់ DeepStream ភ្លាមៗ ដែលធ្វើឱ្យវាងាយស្រួលក្នុងការរួមបញ្ចូលជាមួយកម្មវិធីរបស់អ្នក។ Graph Composer ដែលត្រូវបានអាប់ដេតជាមួយនឹង UI ងាយស្រួលប្រើ អនុញ្ញាតឱ្យអ្នកបង្កើតបំពង់ DeepStream ពីចុងដល់ចប់ ដោយមានលេខកូដតិចតួច ឬគ្មានកូដ ដោយហេតុនេះកាត់បន្ថយភាពស្មុគស្មាញនៃការអភិវឌ្ឍន៍កម្មវិធី និងផ្តល់នូវការកាត់បន្ថយពេលវេលាសម្រាប់ទីផ្សារ។
NVIDIA Riva រួមបញ្ចូល ម៉ូដែលទំនើបដែលបានទទួលការបណ្តុះបណ្តាល សម្រាប់ការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិ (ASR) និងអត្ថបទទៅការនិយាយ (TTS) ។ គំរូដែលបានបណ្តុះបណ្តាលជាមុនទាំងនេះមានភាពត្រឹមត្រូវខ្ពស់ ហើយអាចប្ដូរតាមបំណងបានយ៉ាងងាយស្រួល ដើម្បីបង្កើនភាពត្រឹមត្រូវលើដែន ការសង្កត់សំឡេង ភាសា និងករណីប្រើប្រាស់ដែលចង់បាន។ ការចេញផ្សាយថ្មីរបស់ Rivanow គាំទ្រ 14 ភាសាជាមួយនឹងផែនការដើម្បីបន្តបន្ថែមបន្ថែមទៀត។ យើងបានបន្ថែមការគាំទ្រសម្រាប់ Fast Conformer ដែលផ្តល់នូវការបង្កើនល្បឿនការសន្និដ្ឋាន 2.4x និងការបង្កើនល្បឿនហ្វឹកហាត់ 1.8x លើស្តង់ដារ Conformer។ យើងក៏បានធ្វើឱ្យម៉ូដែលរបស់យើងមានសំលេងរំខានកាន់តែខ្លាំងដែលនាំទៅដល់> 20% ធ្វើឱ្យប្រសើរឡើងនូវភាពត្រឹមត្រូវនៅលើសំណុំតេស្តដែលមានសំលេងរំខាន។ ការចេញផ្សាយចុងក្រោយនេះក៏គាំទ្រជំនាញបកប្រែផងដែរ។ យើងបានបន្ថែមគំរូបកប្រែក្រៅប្រអប់ដែលមានគុណភាពខ្ពស់ជាមួយនឹងការគាំទ្រសម្រាប់ 32 ភាសា។
ការដាក់ពង្រាយមនុស្សយន្តពីចុងដល់ចប់ជាមួយ NVIDIA Isaac
NVIDIA អ៊ីសាក ផ្តល់វេទិកាសម្រាប់ការអភិវឌ្ឍន៍មនុស្សយន្តពីចុងដល់ចប់។ ចាប់ផ្តើមជាមួយការបង្កើតទិន្នន័យសំយោគដោយប្រើ ឧបករណ៍ចម្លងគ្រប់ទិស។ អ្នកអភិវឌ្ឍន៍អាចបង្កើតឈុតឆាកជាក់ស្តែងបានយ៉ាងងាយស្រួលជាមួយនឹងមនុស្ស វត្ថុ និងបរិស្ថានផ្សេងៗគ្នា កំណត់លក្ខខណ្ឌពន្លឺ ពណ៌ និងទីតាំងវត្ថុដោយចៃដន្យ ហើយបញ្ចេញសំណុំទិន្នន័យដែលមានស្លាកយ៉ាងល្អឥតខ្ចោះ ដើម្បីពន្លឿនការបណ្តុះបណ្តាលគំរូ។ ប្រើគំរូដែលបានបណ្តុះបណ្តាលជាមុនពី NVIDIA NGC ជំនួសឱ្យការអភិវឌ្ឍន៍ម៉ូដែលពីដំបូង ហើយប្រើ TAO ដើម្បីបណ្តុះបណ្តាល និងបង្កើនប្រសិទ្ធភាពគំរូ។
បន្ទាប់មកប្រើ Isaac Sim ដើម្បីក្លែងធ្វើមនុស្សយន្តរបស់អ្នកយ៉ាងត្រឹមត្រូវនៅក្នុងបរិស្ថានរូបភាពជាក់ស្តែង និងបង្កើតកូនភ្លោះឌីជីថល។ អ្នកអាចសាកល្បងទិដ្ឋភាពនីមួយៗនៃប្រតិបត្តិការមនុស្សយន្ត – អាចជាការយល់ឃើញ ការធ្វើមូលដ្ឋានីយកម្ម ការធ្វើផែនការផ្លូវ ការរុករកជាដើម។ អ្នកអាចក្លែងធ្វើ និងសាកល្បងលក្ខខណ្ឌ ដែលប្រហែលជាមិនអាចបង្កើតឡើងវិញនៅក្នុងពិភពពិតបានទេ។ ការចេញផ្សាយ 2022.2 នៃ Isaac Sim បាននាំមកនូវការគាំទ្រក្នុងការក្លែងធ្វើមនុស្ស និងសកម្មភាព ដូច្នេះអ្នកអាចធ្វើឱ្យប្រព័ន្ធយល់ឃើញ និងសុវត្ថិភាពនៅក្នុងពិភពនិម្មិតមានសុពលភាព។
ការចេញផ្សាយនេះក៏បាននាំមកនូវការគាំទ្រសម្រាប់ cuOpt ដើម្បីបង្កើនប្រសិទ្ធភាពផែនការផ្លូវរបស់មនុស្សយន្តនៅក្នុងឃ្លាំង និងបរិយាកាសរោងចក្រ។ លើសពីនេះទៀត ការចេញផ្សាយចុងក្រោយបង្អស់បានបន្ថែមការគាំទ្រសម្រាប់ ROS 2 Humble ដូច្នេះអ្នកអាចក្លែងធ្វើកូដ Isaac ROS របស់អ្នកនៅក្នុង Isaac Sim ។
បន្ទាប់មក អ្នកអាចបង្កើតកម្មវិធីមនុស្សយន្តដែលដំណើរការខ្ពស់ដោយប្រើ NVIDIA Isaac ROS, a collection of accelerated packages that robotics developers can easily integrate in their ROS pipelines. These ROS packages are accelerated on GPU and other hardware accelerators available on Jetson. With the latest release (targeted for GTC March 2023), we are open-sourcing the Isaac ROS packages for ROS developers to modify, extend, or contribute back. We are also releasing a ROS benchmarking framework to create benchmarks for any ROS graph and benchmark under realistic workloads. An updated Isaac ROS NVBlox package is being released to generate a clean 3D mesh in a crowded environment. With these and other enhancements, Isaac ROS is laying the foundation for high performance robotic solution creation.
DEMO៖ លំហូរការងារពីចុងដល់ចប់ជាមួយ Isaac Sim Synthetic Data Generation និង TAO
ការបង្ហាញនេះផ្តល់ឱ្យអ្នកនូវបទពិសោធន៍នៃការឆ្លងកាត់ដំណើរការការងារទាំងមូលចាប់ពីការបង្កើតគំរូរហូតដល់ការដាក់ឱ្យប្រើប្រាស់។ យើងចាប់ផ្តើមជាមួយនឹងគំរូនៃការបែងចែកមនុស្សដែលបានបណ្តុះបណ្តាលជាមុនពី NGC ដែលត្រូវបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យដែលមានកម្ពស់កាមេរ៉ាផ្សេងៗគ្នា ដង់ស៊ីតេហ្វូងមនុស្ស និងវាលនៃ view (FOV) ។ យើងសង្កេតឃើញថា ការប្រើប្រាស់គំរូនេះនៅលើកាមេរ៉ាមនុស្សយន្តដែលនៅជិតដី នាំឱ្យមានភាពសុក្រិតខ្សោយ ដោយសារសំណុំទិន្នន័យហ្វឹកហាត់ដើមមិនមានមុំកាមេរ៉ាជិតដីបែបនេះទេ។
ការប្រមូលសំណុំទិន្នន័យធំថ្មីជាមួយនឹងមុំកាមេរ៉ាថ្មី ហើយបន្ទាប់មកកំណត់ចំណាំរូបភាពនីមួយៗនឹងចំណាយពេលច្រើនថ្ងៃ និងច្រើនសប្តាហ៍។ ផ្ទុយទៅវិញ ការបង្ហាញនេះបង្ហាញពីការប្រើប្រាស់ Omniverse Replicator នៅក្នុង Isaac Sim ដើម្បីបង្កើតឈុតឆាក វត្ថុ និងមនុស្ស និងដើម្បីបន្ថែមការចៃដន្យសម្រាប់បំរែបំរួលទិន្នន័យបន្ថែមទៀត។ ទិន្នន័យសំយោគជាលទ្ធផលត្រូវបានកត់ចំណាំរួចហើយ។ បន្ទាប់មកទិន្នន័យសំយោគនេះត្រូវបានប្រើដើម្បីបង្ហាត់គំរូនៃការបែងចែកមនុស្សឡើងវិញ មុនពេលធ្វើឱ្យវាប្រសើរឡើងជាមួយនឹងកញ្ចប់ឧបករណ៍ NVIDIA TAO ។ បន្ទាប់មកយើងដាក់ពង្រាយគំរូដែលបានបណ្តុះបណ្តាលនៅលើ Jetson Orin Nano Developer Kit ហើយឃើញលទ្ធផលសន្និដ្ឋាន៖ ម៉ូដែលនេះនឹងដំណើរការយ៉ាងត្រឹមត្រូវជាមួយនឹងមុំកាមេរ៉ាមនុស្សយន្តនៅជិតដី។
ជាមួយនឹងឧបករណ៍ដូចជា Isaac sim សម្រាប់ការបង្កើតទិន្នន័យសំយោគ ម៉ូដែលដែលបានបណ្តុះបណ្តាលមុន និង NVIDIA TAO យើងអនុញ្ញាតឱ្យអតិថិជនរបស់យើងចូលទៅកាន់ទីផ្សារបានលឿនជាងមុនដោយកាត់បន្ថយពេលវេលានៃការអភិវឌ្ឍន៍គំរូ AI ពីថ្ងៃនិងសប្តាហ៍មកត្រឹមតែប៉ុន្មាននាទីប៉ុណ្ណោះ។
បទពិសោធន៍ការងារទាំងមូលនេះដោយយោងទៅ Isaac Replicator និង TAO ផ្នែកនៅក្នុងឧបសម្ព័ន្ធ
ឧបសម្ព័ន្ធ
ចាប់ផ្តើមជាមួយឧបករណ៍អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano
អ្នកអាចចូលទៅកាន់ Reviewers ណែនាំពី https://developer.nvidia.com/jetson-orin-nano-review
ការដំឡើង Jetson Orin Nano Developer Kit របស់អ្នក។
កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano ភ្ជាប់មកជាមួយម៉ូឌុល Jetson Orin Nano ដែលមានរន្ធដោតកាត microSD ។ មធ្យោបាយងាយស្រួលបំផុតក្នុងការដំឡើងឧបករណ៍អ្នកអភិវឌ្ឍន៍គឺត្រូវសរសេររូបភាព NVIDIA JetPack ទៅក្នុងកាត microSD ដោយប្រើឧបករណ៍ដូចជា Balena Etcher ហើយបន្ទាប់មកចាប់ផ្ដើមឧបករណ៍អ្នកអភិវឌ្ឍន៍ដោយប្រើរូបភាពកាត SD ។
សម្រាប់ការនេះឡើងវិញviewយើងបានផ្តល់កាត microSD ដែលត្រូវបានសរសេរជាមុនជាមួយរូបភាព NVIDIA JetPack ។ សូមបញ្ចូលកាត SD ទៅក្នុងរន្ធដោតកាត microSD ហើយបើកថាមពលនៅលើឧបករណ៍អ្នកអភិវឌ្ឍន៍។ រន្ធដោតកាត microSD ស្ថិតនៅក្រោមម៉ូឌុលដូចបានបង្ហាញខាងក្រោម។
ចំណាំ៖ រូបភាពដែលយើងបានផ្តល់គឺ ក "ឯកជន" មុនview សាងសង់។ នេះមុនview build នឹងចំណាយពេលមួយនាទី ឬដូច្នេះដើម្បីបង្ហាញការសន្ទនាការកំណត់រចនាសម្ព័ន្ធដំបូងកំឡុងពេលចាប់ផ្ដើមដំបូង។ ឧបករណ៍អ្នកអភិវឌ្ឍន៍ ដែលនឹងត្រូវបានដាក់ឱ្យប្រើប្រាស់ជាសាធារណៈបន្ទាប់ពីការប្រកាសនៅ GTC 2023 នឹងមានគុណភាពផលិតដែលនឹងលឿនជាងមុននៅពេលចាប់ផ្តើមដំបូង។ ដូចគ្នានេះផងដែរ មានបញ្ហានៅក្នុងការសាងសង់ឯកជននេះដែលត្រូវការការយកចិត្តទុកដាក់។ Jetson Orin Nano មិនរួមបញ្ចូលឧបករណ៍បំលែងកូដផ្នែករឹងទេ។ សូមយោងទៅផ្នែកនេះអំពីការប្រើកម្មវិធីបំប្លែងកូដនៅលើ Jetson។ នៅមុននេះ។view ស្ថាបនា រាល់ការប៉ុនប៉ងប្រើឧបករណ៍បំប្លែងផ្នែករឹងនឹងនាំឱ្យប្រព័ន្ធបង្កក។ បញ្ហានេះនឹងត្រូវបានជួសជុលនៅក្នុងការចេញផ្សាយផលិតកម្ម។ អ្នកក៏នឹងឃើញថាអង្គចងចាំដែលមាននឹងត្រូវបានបង្ហាញជា 6.3GB នៅមុននេះ។view បង្កើតជំនួសឱ្យ 8GB ។ នេះគឺដោយសារតែអង្គចងចាំមួយចំនួនដែលបានឆ្លាក់ចេញសម្រាប់គោលបំណងសុវត្ថិភាព។ NVIDIA នឹងធ្វើការដោះស្រាយបញ្ហានេះ ហើយនឹងយកមកវិញដោយស្វ័យប្រវត្តិនូវ memory carveout ដែលមិនប្រើប្រាស់។
ការចាប់ផ្ដើមដំបូងនៅលើមុននេះ។view រូបភាពនឹងណែនាំអ្នកតាមរយៈការសន្ទនាការកំណត់រចនាសម្ព័ន្ធដំបូង។ ឆ្លងកាត់ដំណើរការដំឡើងដំបូងសាមញ្ញ។ នៅពេលដែលការកំណត់រចនាសម្ព័ន្ធដំបូងត្រូវបានបញ្ចប់ ហើយឧបករណ៍អ្នកអភិវឌ្ឍន៍បានចាប់ផ្ដើមទៅកាន់ផ្ទៃតុ អ្នកអាចចាប់ផ្តើមរុករកឧបករណ៍អ្នកអភិវឌ្ឍន៍។
ឧបករណ៍អ្នកអភិវឌ្ឍន៍កំពុងដំណើរការ JetPack 5.1.1 (មុនការចេញផ្សាយ) ដែលមានសមាសធាតុដូចខាងក្រោមៈ
- CUDA 11.4
- TensorRT 8.5
- cuDNN 8.6
- VPI 2.2
- វ៉ុលកា ១.១
- ប្រព័ន្ធ Nsight 2022.5
- ក្រាហ្វិក Nsight 2022.6
នៅខាងស្តាំខាងលើនៃផ្ទៃតុ មានឧបករណ៍ជំនួយថាមពលfile អ្នកជ្រើសរើស។ នៅពេលចុច វាផ្តល់នូវម៉ឺនុយទម្លាក់ចុះនៃរបៀបថាមពលដែលបានកំណត់កម្មវិធីទាំងអស់សម្រាប់ឧបករណ៍អ្នកអភិវឌ្ឍន៍។ JetPack មកជាមួយ ច្រើន samples បានសាងសង់ឡើងនៅក្នុង។
ទាំងនេះ samples ផ្តល់នូវការជាមុនview និងសមត្ថភាពនៃសមាសធាតុ JetPack ផ្សេងៗគ្នា។
កំពុងដំណើរការ សន្ទស្សន៍ការសន្និដ្ឋាន
ទាញយកបាល់ tar ដែលមានឈ្មោះថា "benchmarking.tar.gz" ដែលត្រូវការសម្រាប់ការដាក់ពិន្ទុនេះពី នៅទីនេះ ហើយដកសំបកចេញ
| $ tar -xvf benchmarking.tar.gz |
រៀបចំតម្រូវការសម្រាប់ដំណើរការស្តង់ដារដោយធ្វើ៖
| $ cd benchmarking $ sudo bash install_requirements.sh |
សម្រាប់ការវាស់វែងស្អាត សូមចាប់ផ្តើមប្រព័ន្ធឡើងវិញ ហើយបន្ទាប់មកចាប់ផ្តើមការវាស់វែង។
ដំណើរការ Vision Model Benchmarks ដោយប្រើ៖
| $ sudo python3 benchmark.py –all –csv_file_path orin_nano_ptm.csv \\ –model_dir |
Exampលេ៖
| $ sudo python3 benchmark.py –all –csv_file_path orin_nano_ptm.csv \ –model_dir /home/nvidia/benchmarking/model_engines |
អ្នកនឹងទទួលបានលទ្ធផលស្រដៀងគ្នានឹងខាងក្រោមនៅពេលបញ្ចប់ការដាក់ពិន្ទុ។ សូមចំណាំថាការដាក់ពិន្ទុនឹងចំណាយពេលច្រើននាទីដើម្បីបញ្ចប់។
| គំរូ | ឈ្មោះ | FPS | |
| 0 | peoplenet | 110.102016 | |
| 1 | action_recog_2d | 382.461916 | |
| 2 | action_recog_3d | 25.946016 | |
| 3 | dashcamnet | 395.563297 | |
| 4 | bodyposen et | 135.222464 | |
| 5 | lpr_us | 981.867680 | |
ដំណើរការម៉ូដែល PeopleNet Transformer
យើងបានបង្កើតធុង DeepStream ជាមួយនឹងគំរូប្លែង PeopleNet ហើយបង្ហោះវានៅលើ NGC
ចូល NGC
| $ sudo docker ចូល nvcr.io |
ផ្តល់ឈ្មោះអ្នកប្រើប្រាស់ជា “$oauthtoken” និងពាក្យសម្ងាត់ជា
“MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj”
ដូចនេះ
ឈ្មោះអ្នកប្រើប្រាស់៖ $oauthtoken
ពាក្យសម្ងាត់៖
MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2O DFlMGRj
ទាញធុង
| $ sudo docker ទាញ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ទាញថត
ទាញយក tar ball ដែលមានឈ្មោះថា mount_dir ពី នៅទីនេះ ហើយស្រង់វានៅក្នុងថតផ្ទះរបស់អ្នក។ ថតនេះមានវីដេអូ files ដែលនឹងដើរតួជាលំហូរបញ្ចូលសម្រាប់ការសន្និដ្ឋាន។
| $tar -xvf mount_dir.tar.gz -C ${HOME}/ |
បន្ទាប់ពីការស្រង់ចេញ អ្នកគួរតែមានថតដែលមានឈ្មោះ "mount_dir" នៅក្នុងថតផ្ទះរបស់អ្នក។
រត់កុងតឺន័រ
| $ xhost + $ sudo docker ដំណើរការ -it –rm –name=ds_docker –net=host –runtime nvidia -e \\ DISPLAY=$DISPLAY -w /opt/nvidia/deepstream/deepstream-6.2 \\ -v /tmp/.X11-unix/:/tmp/.X11-unix -v $HOME/mount_dir:/mount_dir \\ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ដំណើរការម៉ូដែល
ដំណើរការពាក្យបញ្ជាខាងក្រោមនៅខាងក្នុងកុងតឺន័រ ដើម្បីចាប់ផ្តើមការសន្និដ្ឋាន
| $ cd /opt/nvidia/deepstream/deepstream-6.2/samples/configs/deepstream-app-triton $ deepstream-app -c source1_primary_detector_peoplenet_transformer.txt |
សូមចំណាំថាការកំណត់រចនាសម្ព័ន្ធ DeepStream ខាងលើ file ត្រូវបានកែប្រែដើម្បីរកមើលចរន្តបញ្ចូលក្នុង mount_dir។
ម៉ូដែលបំលែង PeopleNet D-DETR នេះបច្ចុប្បន្នជាគំរូ FP16 ហើយដំណើរការនៅ 8 FPS នៅលើ Jetson Orin Nano ដែលមានប្រយោជន៍សម្រាប់កម្មវិធីជាច្រើនដែលមិនត្រូវការការអនុវត្តពេលវេលាជាក់ស្តែង។ ម៉ូដែលនេះដំណើរការនៅប្រហែល 30 FPS នៅលើ Jetson AGX Orin ។ នៅពេលដែលការស្រាវជ្រាវបន្តលើម៉ូដែលប្លែងសម្រាប់ Vision ម៉ូដែលទាំងនេះនឹងត្រូវបានធ្វើឱ្យប្រសើរបន្ថែមទៀតសម្រាប់ដំណើរការនៅគែម។
NVIDIA Omniverse Replicator និង TAO
យើងបានបង្កើត cloud instances ខាងក្នុងសម្រាប់អ្នកដើម្បីដំណើរការ Isaac Sim និង TAO ។ សូមទាក់ទងមកយើងខ្ញុំនៅ JONREviewersTeam@nvidia.com សម្រាប់ព័ត៌មានបញ្ជាក់អត្តសញ្ញាណឧទាហរណ៍លើពពករបស់អ្នក។ ដើម្បីចូលប្រើវត្ថុខាងក្នុងនេះ វាត្រូវបានទាមទារដើម្បីដំឡើង VMWare Horizon Client ។ ដោយសារមិនមានកំណែ Arm របស់ម៉ាស៊ីនភ្ញៀវ VMWare យើងស្នើសុំឱ្យអ្នកប្រើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រផ្ទាល់ខ្លួនរបស់អ្នក ដើម្បីចូលប្រើអ៊ីនធឺណេតពពកខាងក្នុង ហើយដំណើរការតាមរយៈលំហូរការងារដែលយើងមានសម្រាប់អ្នក។
ការបង្កើតទិន្នន័យសំយោគ និងការបណ្តុះបណ្តាលគំរូ
អ្នកអាចប្រើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រណាមួយ (Windows, Linux, Mac ឬ Chromebook)។ សូមធ្វើតាមការណែនាំដោយយោងទៅឯកសារដែលមានឈ្មោះ “VMWare Horizon Client to Access Cloud Instance” ពី នៅទីនេះ ដើម្បីដំឡើងម៉ាស៊ីនភ្ញៀវ VMWare Horizon និងចូលប្រើ instance cloud ខាងក្នុង ហើយដំណើរការតាមរយៈ workflow ។ លំហូរការងារនឹងណែនាំអ្នកតាមរយៈការបង្កើតទិន្នន័យសំយោគដោយប្រើ Omniverse Replicator បន្ទាប់មកបណ្តុះបណ្តាល និងបង្កើនប្រសិទ្ធភាពការបែងចែកមនុស្សគំរូដែលបានបណ្តុះបណ្តាលជាមុនពី NGC លើទិន្នន័យសំយោគ ហើយបន្ទាប់មកទាញយកគំរូដែលបានបណ្តុះបណ្តាល។ នៅពេលដែលគំរូត្រូវបានទាញយកទៅកុំព្យូទ័ររបស់អ្នក សូមចម្លងគំរូទៅ Jetson ដោយធ្វើ "scp" ឬដោយប្រើឧបករណ៍ផ្ទុកដូចជា USB stick។
ការសន្និដ្ឋានលើ Jetson
សូមប្រាកដថាគំរូដែលអ្នកបានបណ្តុះបណ្តាលនៅលើពពក ហើយចម្លងទៅ Jetson ត្រូវបានដាក់ឈ្មោះថា “shuffleseg_exported.etlt”។
ទាញយក tar ball ដែលមានឈ្មោះថា mount_dir ពី នៅទីនេះ ហើយស្រង់វានៅក្នុងថតផ្ទះរបស់អ្នក (ប្រសិនបើអ្នកបានទាញយក mount_dir រួចហើយសម្រាប់ការបង្ហាញផ្សេងទៀត អ្នកអាចរំលងវាបាន)។
| $tar -xvf mount_dir.tar.gz -C ${HOME}/ |
ចម្លងគំរូទៅក្នុងថតឯកសារនេះ (ប្រសិនបើមានគំរូដែលមានស្រាប់រួចហើយ សូមជំនួសវាដោយគំរូដែលបានបណ្តុះបណ្តាលរបស់អ្នក)។ សូមចំណាំថាកម្មវិធី DeepStream ខាងក្រោមនឹងរកមើលស្ទ្រីមបញ្ចូល និងគំរូនៅក្នុង mount_dir ។ ផ្លាស់ប្តូរគំរូឱ្យមានសិទ្ធិអាន ប្រសិនបើមិនទាន់មានដោយពាក្យបញ្ជាដូចខាងក្រោម៖
| $ chmod +r shuffleseg_exported.etlt |
បន្ទាប់មកទាញធុង DeepStream ដោយធ្វើតាមការណែនាំខាងក្រោម។ ប្រសិនបើអ្នកបានទាញធុងសម្រាប់ការបង្ហាញពីមុនរួចហើយ អ្នកអាចរំលងជំហាននេះ។
ចូល NGC
| $ sudo docker ចូល nvcr.io |
ផ្តល់ឈ្មោះអ្នកប្រើប្រាស់ជា “$oauthtoken” និងពាក្យសម្ងាត់ជា
“MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj”
ដូចនេះ
ឈ្មោះអ្នកប្រើប្រាស់៖ $oauthtoken
ពាក្យសម្ងាត់៖
MnBxcWF2ZWtibGRzNm1yZmx2c3R0ZWx2NGk6NjA1MmM1NjgtZGQxNi00YmJjLWFmNzktOGM5NDg2ODFlMGRj
ទាញធុង
| $ sudo docker ទាញ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
រត់កុងតឺន័រ
| $ xhost + $ sudo docker ដំណើរការ -it –rm –name=ds_docker –net=host –runtime nvidia -e \\ DISPLAY=$DISPLAY -w /opt/nvidia/deepstream/deepstream-6.2 \\ -v /tmp/.X11-unix/:/tmp/.X11-unix -v $HOME/mount_dir:/mount_dir \\ nvcr.io/ea-linux4tegra/deepstream-reviewers: ចុងក្រោយ |
ដំណើរការការសន្និដ្ឋាន DeepStream
នៅខាងក្នុងកុងតឺន័រដំណើរការតាមពាក្យបញ្ជា។
គំរូដើម
ដំបូងយើងនឹងដំណើរការការសន្និដ្ឋានលើគំរូដើមពី NGC ដែលមិនត្រូវបានបណ្តុះបណ្តាលជាមុនជាមួយទិន្នន័យសំយោគ
| $ cd /opt/nvidia/deepstream_tao_apps
$ ./apps/tao_segmentation/ds-tao-segmentation -e -d \ |
អ្នកនឹងឃើញបង្អួចពីរនឹងលេចឡើង។ មួយបង្ហាញវីដេអូបញ្ចូល និងមួយទៀតបង្ហាញលទ្ធផលនៃការបែងចែកមនុស្សដូចបានបង្ហាញខាងក្រោម។ អ្នកអាចមើលឃើញពីរបៀបដែលគំរូមិនដំណើរការត្រឹមត្រូវ។
គំរូដែលបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគ
បន្ទាប់ដំណើរការការសន្និដ្ឋានលើគំរូដែលអ្នកបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគ។
| $ cd /opt/nvidia/deepstream_tao_apps $ ./apps/tao_segmentation/ds-tao-segmentation -e -d -c \ configs/peopleSemSegNet_tao/sdg_shuffle/pgie_unet_tlt_config_peoplesemsegnet_shuffleseg.txt \ -i file///mount_dir/carter_lower_perspective.mp4 |
អ្នកនឹងឃើញបង្អួចពីរនឹងលេចឡើង។ មួយបង្ហាញវីដេអូបញ្ចូល និងមួយទៀតបង្ហាញលទ្ធផលនៃការបែងចែកមនុស្សដូចបានបង្ហាញខាងក្រោម។ បើប្រៀបធៀបទៅនឹងលទ្ធផលដែលសន្និដ្ឋាននៅពេលដំណើរការគំរូដើម អ្នកអាចឃើញថាគំរូដែលបានបណ្តុះបណ្តាលជាមួយទិន្នន័យសំយោគកំពុងដំណើរការបានត្រឹមត្រូវជាង។ សម្រាប់គោលបំណងនៃ Reviewយើងបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យសំយោគមានកំណត់ ដើម្បីកាត់បន្ថយពេលវេលាបណ្តុះបណ្តាលរង់ចាំអ្នក។
គំរូអាចត្រូវបានកែលម្អសម្រាប់ភាពត្រឹមត្រូវនៅពេលដែលត្រូវបានបណ្តុះបណ្តាលជាមួយនឹងសំណុំទិន្នន័យសំយោគធំជាង។
ធនធានបន្ថែម
ការភ្ជាប់កាមេរ៉ា CSI
មានច្រក MIPI CSI-2 4-lane ចំនួនពីរនៅលើបន្ទះក្រុមហ៊ុនដឹកជញ្ជូន Jetson Orin Nano Developer Kit។ អ្នកនឹងត្រូវការឧបករណ៍ភ្ជាប់ 22-pin ទៅ 15-pin ប្រសិនបើកាមេរ៉ាមានឧបករណ៍ភ្ជាប់ 15-pin ។ សូមពិនិត្យមើលរូបភាពខាងក្រោមដោយប្រុងប្រយ័ត្នលើការតំរង់ទិសនៃខ្សែ នៅពេលភ្ជាប់ទៅរន្ធកាមេរ៉ា។
ការអ៊ិនកូដនៅលើ Jetson Orin Nano
Jetson Orin Nano មិនមានឧបករណ៍បំលែងកូដផ្នែករឹង NVIDIA (NVENC) ប៉ុន្តែយើងមានស៊ីភីយូ ARM A6AE 78-core ដែលអ្នកអាចដំណើរការការអ៊ិនកូដកម្មវិធីបាន។ អ្នកអាចប្រើ x264 enc ដើម្បីដំណើរការការអ៊ិនកូដ SW នៅក្នុងបំពង់របស់អ្នក។
ពាក្យបញ្ជាខាងក្រោមបង្ហាញពីការអ៊ិនកូដ H.264 SW ដោយប្រើកម្មវិធីជំនួយ x264enc ជាមួយនឹងការបញ្ចូលពីកម្មវិធីជំនួយកាមេរ៉ាដែលប្រើ Argus API ។
| $ gst-launch-1.0 nvarguscamerasrc ! \ 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, \ format=(string)NV12, framerate=(ប្រភាគ)30/1' ! nvvidconv ! \ វីដេអូ/x-raw, format=I420 ! x264enc ! \ h264 ញែក! qtmux! fileលិច \ ទីតាំង=filename_h264.mp4> -e |
ប្រសិនបើអ្នកកំពុងប្រើ DeepStream នោះអ្នកអាចផ្លាស់ប្តូរប្រភេទអ៊ិនកូដដើម្បីប្រើការអ៊ិនកូដកម្មវិធី។ សម្រាប់អតីតample សូមមើលការបន្លិចខាងក្រោម
[sink0] #source0 លទ្ធផលជា fileលិចបើក = 1
#1=h264 2=h265
កូឌិក=១
# អ៊ិនកូដឌ័រប្រភេទ 0=ផ្នែករឹង 1=កម្មវិធី
enc-type=1
…
WebRTC Webក្របខ័ណ្ឌកម្មវិធី
សួស្តី AI World គឺជាការបង្រៀន និងបណ្ណាល័យស៊ីជម្រៅនៃប្រភពបើកចំហរសម្រាប់ចាប់ផ្តើមជាមួយនឹងការបណ្តុះបណ្តាល និងការដាក់ឱ្យប្រើប្រាស់ DNNs នៅលើ Jetson ។ វាប្រើ TensorRT សម្រាប់ការសន្និដ្ឋានតាមពេលវេលាជាក់ស្តែង និងមាន Python/C++ APIs ងាយស្រួលប្រើសម្រាប់ការចាត់ថ្នាក់ ការរកឃើញ ការបែងចែក ការប៉ាន់ប្រមាណ និងការទទួលស្គាល់សកម្មភាព រួមជាមួយនឹងការគាំទ្រសម្រាប់ចំណុចប្រទាក់កាមេរ៉ា និងឧបករណ៍វីដេអូផ្សេងៗ។
ថ្មីសម្រាប់ Hello AI World គឺមានភាពយឺតយ៉ាវទាប Webការផ្សាយបន្តផ្ទាល់វីដេអូ RTC ទៅ / ពី web browsers រួមជាមួយនឹង examples នៃការរួមបញ្ចូលជាមួយ Python-based ដ៏ពេញនិយម web ក្របខ័ណ្ឌរួមមាន Flask, Plotly Dash និង HTML5/JavaScript ។ នេះអនុញ្ញាតឱ្យអ្នកអភិវឌ្ឍន៍បង្កើតអន្តរកម្មផ្ទាល់ខ្លួនរបស់ពួកគេយ៉ាងឆាប់រហ័ស webកម្មវិធី និងឧបករណ៍មើលឃើញទិន្នន័យពីចម្ងាយដែលដំណើរការដោយ Jetson និង edge AI នៅលើផ្នែកខាងក្រោយ។
ដើម្បីចាប់ផ្តើមជាមួយ Hello AI World នៅលើ Jetson Orin Nano Developer Kit របស់អ្នក សូមមើលតំណភ្ជាប់ខាងក្រោម៖
- https://github.com/dusty-nv/jetson-inference
- កំពុងដំណើរការ Docker Container
- ការបង្រៀននៅលើ Webក្របខ័ណ្ឌកម្មវិធី
ព័ត៌មានទំនាក់ទំនង NVIDIA
សំណួរណាមួយនៅពេលឡើងវិញviewនៅក្នុងឧបករណ៍អ្នកអភិវឌ្ឍន៍? អ៊ីមែល JONREviewersTeam@nvidia.com
ទំនាក់ទំនងសាធារណៈ NVIDIA ខាងជើង/អាមេរិកឡាទីន
លោក David Pinto
PR Manager, ម៉ាស៊ីនស្វយ័ត
ការិយាល័យ៖ ៤០៨ ៥៦៦ ៦៩៥០
dpinto@nvidia.com
លោក Michael Lim
នាយក, ទំនាក់ទំនងអ្នកវិភាគ
ការិយាល័យ៖ ៤០៨ ៥៦៦ ៦៩៥០
mlim@nvidia.com
Sridhar Ramaswamy
នាយកជាន់ខ្ពស់ ទីផ្សារបច្ចេកទេសសហគ្រាស
និង Reviews
ក្រឡា៖ 510 545 3774
sramaswamy@nvidia.com
ទំនាក់ទំនងសាធារណៈ NVIDIA អឺរ៉ុប
| លោក Jens Neuschäfer អ្នកគ្រប់គ្រងជាន់ខ្ពស់ PR ការិយាល័យ Enterprise Europe: +49 89 6283 50015 ទូរសព្ទ៖ +49 173 6282912 jneuschafer@nvidia.com NVIDIA GmbH ផ្ទះ 1 ខាងលិច ជាន់ទី 3 Flössergasse 2 81369 ទីក្រុង Munich ប្រទេសអាល្លឺម៉ង់ |
លោក Rick Napier អ្នកគ្រប់គ្រងផលិតផលបច្ចេកទេសជាន់ខ្ពស់នៅអឺរ៉ុបខាងជើង ការិយាល័យ៖ +44 (118) 9184378 ទូរស័ព្ទ៖ +44 (7917) 630172 rnapier@nvidia.com NVIDIA ចក្រភពអង់គ្លេស 100 Brook Drive Green Park Reading RG2 6UJ |
NVIDIA ទំនាក់ទំនងសាធារណៈអាស៊ី/ប៉ាស៊ីហ្វិក
| លោក Jeff Yen នាយកទីផ្សារបច្ចេកទេស APAC ការិយាល័យ៖ +886 987 263 193 |
Melody Tu នាយក PR, APAC ការិយាល័យ៖ +65 93551454
|
| ស្វែងរកស៊ី Sr. Technical Marketing Manager, China ការិយាល័យ៖ +86 75586919016 5F Block 8 VISEEN BUSINESSPARK 9 HIGH-TECH 9th South Road SHENZHEN HI-TECH IND។ ឧទ្យាន SHENZHEN, GUANGDONG Shenzhen 518057 ប្រទេសចិន |
អាឡិច លីវ PR/Marketing Manager, ប្រទេសចិន ការិយាល័យ៖ +86 1058661510
|
| គីល គីម Sr. Technical Marketing Manager, Korea ការិយាល័យ៖ +82 2 6001 7186 kylek@nvidia.com |
សាន់នីលី នាយកទីផ្សារប្រទេសកូរ៉េ ការិយាល័យ៖ +82 2 6001 7123
|
| Kaori Nakamura ប្រធានផ្នែកទំនាក់ទំនងសាធារណៈប្រទេសជប៉ុន ការិយាល័យ៖ +81 3 6743 8712 ATT New Tower 13F |
ម៉ាសាគី សាវ៉ៃ អ្នកគ្រប់គ្រងទីផ្សារបច្ចេកទេស ប្រទេសជប៉ុន ការិយាល័យ៖ +81 3 6743 8717
|
| លោក John Gillooly
អ្នកគ្រប់គ្រងបច្ចេកទេសទីផ្សារអាស៊ីប៉ាស៊ីហ្វិកខាងត្បូង ការិយាល័យ៖ +65 8286 8727 |
ទីតុស ស៊ូ អ្នកគ្រប់គ្រងទីផ្សារបច្ចេកទេស TASA ការិយាល័យ៖ +886 2 6605 5430 |
សេចក្តីជូនដំណឹង
រាល់ព័ត៌មានដែលមាននៅក្នុង RE នេះ។VIEWមគ្គុទ្ទេសក៍របស់ ER រួមទាំងការអត្ថាធិប្បាយ មតិយោបល់ ការកំណត់ជាក់លាក់នៃការរចនា NVIDIA បន្ទះយោង FILES, គំនូរ, ការវិភាគ, បញ្ជី, និងឯកសារផ្សេងទៀត (រួមគ្នានិងដោយឡែកពីគ្នា, "សម្ភារៈ") កំពុងត្រូវបានផ្តល់ជូន "ដូចដែលមាន" ។ NVIDIA មិនធ្វើការធានា បញ្ជាក់ បង្កប់ន័យ លក្ខន្តិកៈ ឬបើមិនដូច្នេះទេ ដោយការគោរពចំពោះសម្ភារៈ និងបដិសេធជាបន្ទាន់នូវការធានាដោយប្រយោលទាំងអស់នៃភាពគ្មានការរំលោភបំពាន សុវត្ថិភាពពាណិជ្ជកម្ម ផាសុខភាព។
ព័ត៌មានដែលបានបំពាក់មកត្រូវបានគេជឿថាមានភាពត្រឹមត្រូវ និងអាចទុកចិត្តបាន។ ទោះជាយ៉ាងណាក៏ដោយ សាជីវកម្ម NVIDIA មិនទទួលខុសត្រូវចំពោះផលវិបាកនៃការប្រើប្រាស់ព័ត៌មានទាំងនោះ ឬសម្រាប់ការរំលោភលើប៉ាតង់ ឬសិទ្ធិផ្សេងទៀតរបស់ភាគីទីបីដែលអាចបណ្តាលមកពីការប្រើប្រាស់របស់វា។ គ្មានអាជ្ញាប័ណ្ណណាមួយត្រូវបានផ្តល់ដោយការជាប់ពាក់ព័ន្ធ ឬបើមិនដូច្នេះទេនៅក្រោមប៉ាតង់ ឬសិទ្ធិប៉ាតង់ណាមួយរបស់សាជីវកម្ម NVIDIA ។ លក្ខណៈពិសេសដែលបានរៀបរាប់នៅក្នុងការបោះពុម្ពផ្សាយនេះគឺជាកម្មវត្ថុនៃការផ្លាស់ប្តូរដោយមិនមានការជូនដំណឹង។ ការបោះពុម្ពផ្សាយនេះជំនួស និងជំនួសព័ត៌មានទាំងអស់ដែលបានផ្តល់ពីមុន។ ផលិតផលសាជីវកម្ម NVIDIA មិនត្រូវបានអនុញ្ញាតឱ្យប្រើជាសមាសធាតុសំខាន់នៅក្នុងឧបករណ៍ ឬប្រព័ន្ធទ្រទ្រង់ជីវិត ដោយគ្មានការយល់ព្រមជាលាយលក្ខណ៍អក្សរពីសាជីវកម្ម NVIDIA ឡើយ។
ពាណិជ្ជសញ្ញា
NVIDIA, ស្លាកសញ្ញា NVIDIA, GeForce, Tegra និង Jetson គឺជាពាណិជ្ជសញ្ញា និង/ឬពាណិជ្ជសញ្ញាដែលបានចុះបញ្ជីរបស់សាជីវកម្ម NVIDIA នៅសហរដ្ឋអាមេរិក និងប្រទេសដទៃទៀត។ រក្សាសិទ្ធិគ្រប់យ៉ាង។ ឈ្មោះក្រុមហ៊ុន និងផលិតផលផ្សេងទៀតអាចជាពាណិជ្ជសញ្ញារបស់ក្រុមហ៊ុនរៀងៗខ្លួនដែលពួកគេត្រូវបានភ្ជាប់។
រក្សាសិទ្ធិ
© 2023 NVIDIA សាជីវកម្ម។ រក្សារសិទ្ធគ្រប់យ៉ាង។
ឯកសារ/ធនធាន
 |
កញ្ចប់អ្នកអភិវឌ្ឍន៍ NVIDIA Jetson Orin Nano [pdf] ការណែនាំអ្នកប្រើប្រាស់ កញ្ចប់អ្នកអភិវឌ្ឍន៍ Jetson Orin Nano, Jetson Orin Nano, កញ្ចប់អ្នកអភិវឌ្ឍន៍, Orin Nano Developer Kit, Nano Developer Kit |
