intel សម្រេចបានរហូតដល់ 4.96 ដងនៃ BERT-Large Inference User Guide

រហូតដល់ 4.96 ដងនៃ BERT-Large Inference
ការណែនាំអ្នកប្រើប្រាស់

មាតិកា លាក់

1 សម្រេចបានរហូតដល់ 4.96 ដងនៃ BERT-Large Inference

2 M6i Instances ជាមួយនឹង 64 vCPUs

សម្រេចបានរហូតដល់ 4.96 ដងនៃ BERT-Large Inference

M6i Instances បានអនុវត្តការងារការសន្និដ្ឋានច្រើនជាង M6g Instances ដែលមានអង្គដំណើរការ AWS Graviton2
ការសិក្សាតាមម៉ាស៊ីនភាសាធម្មជាតិមានបន្ទុកការងារក្រោមការជជែកដេញដោល និងកម្មវិធីអាជីវកម្មផ្សេងទៀត។ ដោយសារបន្ទុកការងារទាំងនេះវិភាគអត្ថបទដែលវាយដោយអតិថិជន និងអ្នកប្រើប្រាស់ផ្សេងទៀត ពួកគេអាចដាក់តម្រូវការធ្ងន់ៗលើធនធានកុំព្យូទ័រ។ នេះធ្វើឱ្យវាមានសារៈសំខាន់ក្នុងការជ្រើសរើស cloud instances ដែលផ្តល់នូវដំណើរការខ្ពស់។
BERT-Large គឺជាគំរូដំណើរការភាសាធម្មជាតិដែលមានគោលបំណងទូទៅ (NLP) ដែលយើងជ្រើសរើសដើម្បីវាស់ស្ទង់ដំណើរការរបស់ Amazon ចំនួនពីរ Web សេវាកម្ម (AWS) EC2 ប្រភេទ cloud instance ។ យើងបានសាកល្បងទំហំ M6i ចំនួនពីរជាមួយនឹងដំណើរការ 3rd Gen Intel Xeon Scalable processors និង M6g instances ជាមួយនឹងប្រព័ន្ធដំណើរការ AWS Graviton2។
យើងបានរកឃើញថាទាំង 32-vCPU និង 64-vCPU M6i ជាមួយអង្គដំណើរការ Intel Xeon Scalable ជំនាន់ទី 3 បានដំណើរការលើសពីសមភាគី M6g របស់ពួកគេ។ ការរកឃើញរបស់យើងបង្ហាញថាអាជីវកម្មអាចផ្តល់នូវបទពិសោធន៍លឿនជាងមុនដល់អ្នកប្រើប្រាស់របស់ពួកគេដោយជ្រើសរើសឧទាហរណ៍ M6i ។ លើសពីនេះទៀត នៅពេលបោះពុម្ព ខណៈពេលដែល VMs ស៊េរី M6i មានតម្លៃ 24.6% ច្រើនជាង VMs ស៊េរី M6g នោះ M6i instances—ជាមួយនឹងដំណើរការរហូតដល់ 4.96 ដងនៃការប្រើប្រាស់—ផ្តល់នូវដំណើរការកាន់តែប្រសើរឡើងយ៉ាងខ្លាំងក្នុងមួយដុល្លារ។

M6i Instances ជាមួយនឹង 32 vCPUs
ដើម្បីប្រៀបធៀបការអនុវត្តការសន្និដ្ឋាន BERT-Large នៃស៊េរីឧទាហរណ៍ AWS ទាំងពីរ យើងបានប្រើក្របខ័ណ្ឌ TensorFlow ។ យើងបានសាកល្បងកម្រិតភាពជាក់លាក់ពីរគឺ FP32 ដែលស៊េរី VMs ទាំងពីរគាំទ្រ និង INT8 ដែលមានតែស៊េរី M6i ប៉ុណ្ណោះដែលគាំទ្រជាមួយនឹងម៉ូដែលដែលយើងបានប្រើ។ ដូចដែលរូបភាពទី 1 បង្ហាញ ស៊ីភីយូ 32-v m6i.8xlarge instances ដោយប្រើភាពជាក់លាក់ INT8 បានផ្តល់ 4.96 ដងនៃការអនុវត្តនៃ m6g.8xlarge instances ដោយប្រើភាពជាក់លាក់ FP32 ។

Relative 32-vCPU BERT-Large Inference Performance
បង្កើនល្បឿន | ខ្ពស់ជាងគឺប្រសើរជាង

រូបភាពទី 1. ការអនុវត្តការសន្និដ្ឋានដ៏ធំរបស់ BERT សម្រេចបានដោយក្រុមវត្ថុធាតុ m6i.8xlarge ជាមួយទី 3
អង្គដំណើរការ Intel Xeon ដែលអាចធ្វើមាត្រដ្ឋានបាន និងដោយចង្កោមឧទាហរណ៍ m6g.8xlarge ជាមួយប្រព័ន្ធដំណើរការ AWS Graviton2 ។ ខ្ពស់ជាងគឺប្រសើរជាង។

BERT-ធំ

ទទួលបានរហូតដល់ទៅ 4.96 ដងនៃ BERT-Large inference work (INT8 precision) ជាមួយនឹង 32-vCPU m6i.8xlarge instances ដែលបង្ហាញពី 3rd Gen Intel Xeon Scalable processors ។
ធៀបនឹងភាពជាក់លាក់ FP32 ជាមួយនឹងករណី m6g.8xlarge

ទទួលបានរហូតដល់ 3.07 ដងនៃ BERT-Large inference work (INT8 precision) ជាមួយនឹង 64-vCPU m6i.16xlarge instances ដែលមានប្រព័ន្ធដំណើរការ 3rd Gen Intel Xeon Scalable processors
ធៀបនឹងភាពជាក់លាក់ FP32 ជាមួយនឹងករណីធំ m6g.16x

M6i Instances ជាមួយនឹង 64 vCPUs

ដូចដែលរូបភាពទី 2 បង្ហាញ វត្ថុទំហំ 64-vCPU m6i.16xlarge ជាមួយនឹងដំណើរការ 3rd Gen Intel® Xeon® Scalable processors ដោយប្រើភាពជាក់លាក់ INT8 បានផ្តល់ 3.07 ដងនៃការអនុវត្តរបស់ m6g.16xlarge instances ជាមួយនឹងប្រព័ន្ធដំណើរការ AWS Graviton2 ដោយប្រើភាពជាក់លាក់ FP32 ។
ចំណាំ៖ ម៉ូដែល BERT-Large ដែលយើងប្រើសម្រាប់ប្រព័ន្ធដំណើរការ AWS Graviton2 មិនគាំទ្រ INT8 នៅលើ TensorFlow ទេ។

សេចក្តីសន្និដ្ឋាន

យើងបានសាកល្បង BERT-Large natural language processing inference performance of two AWS instance series: M6i instances featuring 3rd
អង្គដំណើរការ Intel Xeon Scalable processors និង M6g instances ដែលមានប្រព័ន្ធដំណើរការ AWS Graviton2។ នៅទំហំពីរផ្សេងគ្នា ករណី M6i ដំណើរការលើសពីករណី M6g ដោយសម្រេចបានរហូតដល់ទៅ 4.96 ដងនៃការងារសន្និដ្ឋាន។ ដើម្បីផ្តល់នូវបទពិសោធន៍កាន់តែលឿនដល់អតិថិជនរបស់អ្នក និងអ្នកប្រើប្រាស់ផ្សេងទៀត សូមដំណើរការបន្ទុកការងារសន្និដ្ឋាន NLP របស់អ្នកនៅលើឧទាហរណ៍ AWS M6i ជាមួយនឹងប្រព័ន្ធដំណើរការ Intel Xeon Scalable ជំនាន់ទី 3 ។
ស្វែងយល់បន្ថែម
ដើម្បីចាប់ផ្តើមដំណើរការបន្ទុកការសន្និដ្ឋាន NLP របស់អ្នកនៅលើឧទាហរណ៍ AWS M6i ជាមួយនឹងប្រព័ន្ធដំណើរការ Intel Xeon Scalable ជំនាន់ទី 3 សូមចូលទៅកាន់ https://aws.amazon.com/ec2/instance-types/m6i/.
ការធ្វើតេស្ត VM តែមួយដោយ Intel នៅថ្ងៃទី 11/10/2021 និង 12/01/2021។ VMs ទាំងអស់ដែលបានកំណត់រចនាសម្ព័ន្ធជាមួយ Ubuntu 20.04 LTS, 5.11.0-1022-aws, EBS storage, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7,
containerd=1.5.5, ម៉ូដែល BERT, ទំហំបាច់ 1, ប្រវែងលំដាប់ 384, FP32 និង INT8 ភាពជាក់លាក់។ ព័ត៌មានលម្អិតអំពីឧទាហរណ៍៖ m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, អង្គចងចាំ DDR128 សរុប 4 GB; m6g.8xlarge, 32vpus, ARM Neovers N1, Arm v8.2 @2.5GHz, អង្គចងចាំ DDR128 សរុប 4 GB; m6i.16xlarge, 64vpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, អង្គចងចាំ DDR256 សរុប 4 GB; m6g.16xlarge, 64vpus, ARM Neovers N1, Arm v8.2 @2.5GHz, អង្គចងចាំ DDR256 សរុប 4 GB។

ការអនុវត្តប្រែប្រួលតាមការប្រើប្រាស់ ការកំណត់រចនាសម្ព័ន្ធ និងកត្តាផ្សេងៗទៀត។ ស្វែងយល់បន្ថែមនៅ www.Intel.com/PerformanceIndex.
លទ្ធផលនៃការអនុវត្តគឺផ្អែកលើការសាកល្បងគិតត្រឹមកាលបរិច្ឆេទដែលបានបង្ហាញក្នុងការកំណត់រចនាសម្ព័ន្ធ ហើយអាចនឹងមិនឆ្លុះបញ្ចាំងពីការអាប់ដេតដែលមានជាសាធារណៈទាំងអស់។ សូមមើលការបម្រុងទុកសម្រាប់ព័ត៌មានលម្អិតអំពីការកំណត់រចនាសម្ព័ន្ធ។ គ្មានផលិតផល ឬសមាសធាតុណាមួយអាចធានាបានដាច់ខាត។ ការចំណាយ និងលទ្ធផលរបស់អ្នកអាចប្រែប្រួល។
បច្ចេកវិទ្យារបស់ Intel ប្រហែលជា តម្រូវឲ្យ មានផ្នែករឹង, សូហ្វវែរឬសេវាកម្មដែលអាចដំណើរការបាន។
© សាជីវកម្ម Intel ។ Intel, និមិត្តសញ្ញា Intel និងសញ្ញា Intel ផ្សេងទៀតគឺជាពាណិជ្ជសញ្ញារបស់ Intel Corporation ឬក្រុមហ៊ុនបុត្រសម្ព័ន្ធរបស់ខ្លួន។ ឈ្មោះ និងម៉ាកផ្សេងទៀតអាចត្រូវបានអះអាងថាជាកម្មសិទ្ធិរបស់អ្នកដទៃ។
បោះពុម្ពនៅសហរដ្ឋអាមេរិក 0722/JO/PT/PDF US002

សូមកែច្នៃឡើងវិញ

ឯកសារ/ធនធាន

Intel សម្រេចបានរហូតដល់ 4.96 ដងនៃ BERT-Large Inference [pdf] ការណែនាំអ្នកប្រើប្រាស់
សម្រេចបានរហូតដល់ទៅ 4.96 ដងនៃ BERT-ធំការសន្និដ្ឋាន សម្រេចបានរហូតដល់ 4.96 ដង BERT-ធំការសន្និដ្ឋាន