hadi Mara 4.96 ya Maoni ya BERT-Kubwa
Mwongozo wa Mtumiaji
Fikia hadi Mara 4.96 ya Maoni ya BERT-Kubwa
Matukio ya M6i Yalifanya Kazi Zaidi ya Maelekezo kuliko Matukio ya M6g Yanayojumuisha Wasindikaji wa AWS Graviton2
Matarajio ya kazi ya mashine ya kujifunza lugha asilia ndiyo msingi wa gumzo na programu zingine za biashara. Uzito huu wa kazi unapochanganua maandishi yaliyochapishwa na wateja na watumiaji wengine, wanaweza kuweka mahitaji makubwa kwenye rasilimali za kukokotoa. Hii inafanya kuwa muhimu kuchagua matukio ya wingu ambayo hutoa utendaji wa juu.
BERT-Large ni muundo wa kusudi la jumla la usindikaji wa lugha asilia (NLP) tuliochagua kupima utendakazi wa Amazon mbili. Web Huduma (AWS) aina za mifano ya wingu EC2. Tulijaribu saizi mbili za matukio ya M6i na vichakataji vya 3 vya Intel Xeon Scalable na matukio ya M6g kwa vichakataji vya AWS Graviton2.
Tuligundua kuwa visa vya 32-vCPU na 64-vCPU M6i vilivyo na vichakataji vya 3 vya Intel Xeon Scalable vilifanya kazi vyema kuliko wenzao wa M6g. Matokeo yetu yanaonyesha kuwa biashara zinaweza kutoa hali ya utumiaji haraka kwa watumiaji wao kwa kuchagua matukio ya M6i. Zaidi ya hayo, wakati wa kuchapishwa, wakati mfululizo wa VM wa M6i uligharimu 24.6% zaidi ya VM za mfululizo wa M6g, matukio ya M6i-na utendaji hadi mara 4.96 ya matokeo-hutoa utendaji bora zaidi kwa kila dola.
Matukio ya M6i Na 32 vCPU
Ili kulinganisha utendaji wa uelekezaji wa BERT-Kubwa wa mfululizo wa mifano miwili ya AWS, tulitumia mfumo wa TensorFlow. Tulijaribu viwango viwili vya usahihi: FP32, ambayo misururu yote miwili ya VMs inasaidia, na INT8, ambayo ni mfululizo wa M6i pekee ndio unaotumia miundo tuliyotumia. Kama Mchoro wa 1 unavyoonyesha, matukio ya 32-v CPU m6i.8xlarge kwa kutumia usahihi wa INT8 yaliwasilisha mara 4.96 ya utendakazi wa matukio ya m6g.8xlarge kwa kutumia usahihi wa FP32.
Utendaji wa Maelekezo wa 32-vCPU BERT-Kubwa
Kuongeza kasi | Ya juu ni bora zaidi
Kielelezo 1. Utendaji wa makisio wa BERT-Kubwa uliofikiwa na nguzo ya mfano ya m6i.8xlarge na ya 3
Vichakataji vya Gen Intel Xeon Scalable na kwa mfano wa kundi kubwa la m6g.8x na vichakataji vya AWS Graviton2. Ya juu ni bora zaidi.
BERT-Kubwa
Pata hadi mara 4.96 ya kazi ya uelekezaji ya BERT-Kubwa (usahihi wa INT8) na matukio 32-vCPU m6i.8xlarge yanayoshirikisha vichakataji vya 3 vya Intel Xeon Scalable.
dhidi ya usahihi wa FP32 na matukio ya m6g.8xlarge
Pata hadi mara 3.07 ya kazi ya uelekezaji ya BERT-Kubwa (usahihi wa INT8) na matukio makubwa ya 64‑vCPU m6i.16x yanayoshirikisha vichakataji vya 3 vya Intel Xeon Scalable
dhidi ya usahihi wa FP32 na matukio ya m6g.16xlarge
Matukio ya M6i Na 64 vCPU
Kama Mchoro wa 2 unavyoonyesha, matukio makubwa ya 64-vCPU m6i.16x yenye vichakataji vya Kizazi cha 3 vya Intel® Xeon® Scalable kwa kutumia usahihi wa INT8 vilitoa mara 3.07 ya utendakazi wa matukio ya m6g.16xlarge kwa vichakataji vya AWS Graviton2 vinavyotumia usahihi wa FP32.
Kumbuka: Muundo wa BERT-Kubwa tuliotumia kwa vichakataji vya AWS Graviton2 hautumii INT8 kwenye TensorFlow. 
Hitimisho
Tulijaribu utendakazi wa uchakataji wa lugha asilia wa BERT-Kubwa wa mfululizo wa mifano miwili ya AWS: matukio ya M6i yanayoangazia ya 3.
Vichakataji vya Gen Intel Xeon Scalable na matukio ya M6g yanayojumuisha vichakataji vya AWS Graviton2. Katika saizi mbili tofauti, matukio ya M6i yalifanya vyema zaidi matukio ya M6g, na kufikia hadi mara 4.96 ya kazi ya marejeleo. Ili kuwasilisha hali ya utumiaji kasi zaidi kwa wateja wako na watumiaji wengine, endesha mzigo wako wa uelekezaji wa NLP kwenye matukio ya AWS M6i na vichakataji vya 3 vya Intel Xeon Scalable.
Jifunze Zaidi
Ili kuanza kuendesha mzigo wako wa uelekezaji wa NLP kwenye matukio ya AWS M6i na vichakataji vya 3 vya Intel Xeon Scalable, tembelea https://aws.amazon.com/ec2/instance-types/m6i/.
Majaribio ya VM Moja na Intel mnamo 11/10/2021 na 12/01/2021. VM zote zimesanidiwa kwa Ubuntu 20.04 LTS, 5.11.0-1022-aws, hifadhi ya EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7,
containerd=1.5.5, modeli ya BERT, ukubwa wa kundi 1, urefu wa mfuatano 384, FP32 na usahihi wa INT8. Maelezo ya tukio: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 128 GB jumla ya kumbukumbu ya DDR4; m6g.8xlarge, 32vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 128 GB jumla ya kumbukumbu ya DDR4; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 256 GB jumla ya kumbukumbu ya DDR4; m6g.16xlarge, 64vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 256 GB jumla ya kumbukumbu ya DDR4.
Utendaji hutofautiana kwa matumizi, usanidi na mambo mengine. Jifunze zaidi kwenye www.Intel.com/PerformanceIndex.
Matokeo ya utendakazi yanatokana na majaribio kuanzia tarehe zilizoonyeshwa katika usanidi na huenda yasionyeshe masasisho yote yanayopatikana kwa umma. Tazama nakala rudufu kwa maelezo ya usanidi. Hakuna bidhaa au sehemu inaweza kuwa salama kabisa. Gharama na matokeo yako yanaweza kutofautiana.
Teknolojia za Intel zinaweza kuhitaji vifaa, programu au uanzishaji wa huduma.
© Intel Corporation. Intel, nembo ya Intel, na alama zingine za Intel ni chapa za biashara za Intel Corporation au kampuni zake tanzu. Majina na chapa zingine zinaweza kudaiwa kama mali ya wengine.
Imechapishwa Marekani 0722/JO/PT/PDF US002
Tafadhali Recycle
Nyaraka / Rasilimali
 |
intel Fikia hadi Mara 4.96 ya Maoni ya BERT-Kubwa [pdf] Mwongozo wa Mtumiaji Fikia hadi Mara 4.96 ya Maoni ya BERT-Kubwa, Fikia hadi 4.96, Times the BERT-Large Inference |
