hangtod sa 4.96 ka beses ang BERT-Large Inference
Giya sa Gumagamit
Makab-ot hangtod sa 4.96 ka beses ang BERT-Large Inference
Ang mga Instance sa M6i Nagbuhat og Daghang Trabaho sa Inference kaysa sa mga Instance sa M6g nga Nagpakita sa mga Proseso sa AWS Graviton2
Ang natural nga lengguwahe nga machine learning inference workloads nagpailalom sa mga chatbot ug uban pang mga aplikasyon sa negosyo. Samtang kini nga mga workloads nag-analisa sa teksto nga gi-type sa mga kostumer ug uban pang mga tiggamit, mahimo nilang ibutang ang bug-at nga mga panginahanglan sa mga kapanguhaan sa pagkalkula. Gihimo niini nga hinungdanon ang pagpili sa mga higayon sa panganod nga maghatag taas nga pasundayag.
Ang BERT-Large kay usa ka general-purpose natural language processing (NLP) nga modelo nga among gipili aron sukdon ang performance sa duha ka Amazon Web Mga Serbisyo (AWS) EC2 nga mga tipo sa instance sa panganod. Among gisulayan ang duha ka gidak-on sa M6i instances uban sa 3rd Gen Intel Xeon Scalable processors ug M6g instances sa AWS Graviton2 processors.
Among nakaplagan nga ang 32-vCPU ug 64-vCPU M6i nga mga instance nga adunay 3rd Gen Intel Xeon Scalable processors milabaw sa ilang M6g counterparts. Ang among mga nahibal-an nag-ilustrar nga ang mga negosyo makahatag og mas paspas nga kasinatian ngadto sa ilang mga tiggamit pinaagi sa pagpili sa M6i instances. Dugang pa, sa panahon sa pagmantala, samtang ang M6i series VMs nagkantidad ug 24.6% labaw pa sa M6g series VMs, ang M6i instances—nga adunay performance hangtod sa 4.96 ka beses ang throughput—nagtanyag ug mas maayo nga performance kada dolyar.
Mga Instance sa M6i nga adunay 32 vCPUs
Aron itandi ang BERT-Large inference performance sa duha ka AWS instance series, among gigamit ang TensorFlow framework. Gisulayan namo ang duha ka lebel sa katukma: FP32, nga gisuportahan sa duha ka serye sa mga VM, ug INT8, nga gisuportahan lamang sa serye sa M6i sa mga modelo nga among gigamit. Ingon sa gipakita sa Figure 1, ang 32-v CPU m6i.8xlarge nga mga instances gamit ang INT8 precision naghatud ug 4.96 times sa performance sa m6g.8xlarge nga mga instance gamit ang FP32 precision.
Relatibong 32-vCPU BERT-Daghang Pagbuhat sa Inferensya
Pagdali | Mas taas kay mas maayo
Figure 1. BERT-Daghang inference performance nga nakab-ot sa usa ka m6i.8xlarge instance cluster nga adunay ika-3
Gen Intel Xeon Scalable nga mga processor ug pinaagi sa usa ka m6g.8xlarge instance cluster nga adunay AWS Graviton2 nga mga processor. Mas taas kay mas maayo.
BERT-Dagko
Pagkuha hangtod sa 4.96 ka beses ang BERT-Large inference work (INT8 precision) nga adunay 32-vCPU m6i.8xlarge nga mga higayon nga adunay 3rd Gen Intel Xeon Scalable nga mga processor.
batok sa FP32 nga katukma nga adunay m6g.8xlarge nga mga higayon
Pagkuha hangtod sa 3.07 ka beses ang BERT-Large inference work (INT8 precision) nga adunay 64‑vCPU m6i.16xlarge nga mga instance nga adunay 3rd Gen Intel Xeon Scalable processors
batok sa FP32 nga katukma nga adunay m6g.16xlarge nga mga higayon
Mga Instance sa M6i nga adunay 64 vCPUs
Sama sa gipakita sa Figure 2, ang 64-vCPU m6i.16xlarge nga mga instance nga adunay 3rd Gen Intel® Xeon® Scalable nga mga processor gamit ang INT8 precision naghatod og 3.07 ka beses sa performance sa m6g.16xlarge nga mga instances nga adunay AWS Graviton2 processors gamit ang FP32 precision.
Mubo nga sulat: Ang BERT-Large nga modelo nga among gigamit alang sa AWS Graviton2 nga mga processor wala mosuporta sa INT8 sa TensorFlow. 
Panapos
Among gisulayan ang BERT-Daghang natural nga pagproseso sa sinultian nga paghimo sa inference sa duha ka serye sa AWS nga pananglitan: M6i nga mga higayon nga adunay ika-3
Ang Gen Intel Xeon Scalable nga mga processor ug M6g nga mga instance nga adunay mga AWS Graviton2 nga mga processor. Sa duha ka lain-laing mga gidak-on, ang M6i instances milabaw sa M6g instances, pagkab-ot sa 4.96 ka beses ang inference nga buhat. Aron makahatag ug mas paspas nga kasinatian sa imong mga kustomer ug uban pang tiggamit, padagana ang imong NLP inference workloads sa AWS M6i instances nga adunay 3rd Gen Intel Xeon Scalable processors.
Pagkat-on pa
Sa pagsugod sa pagpadagan sa imong NLP inference workloads sa AWS M6i instances uban sa 3rd Gen Intel Xeon Scalable processors, bisitaha https://aws.amazon.com/ec2/instance-types/m6i/.
Usa ka pagsulay sa VM sa Intel kaniadtong 11/10/2021 ug 12/01/2021. Ang tanan nga mga VM na-configure sa Ubuntu 20.04 LTS, 5.11.0-1022-aws, EBS storage, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7,
containerd=1.5.5, BERT model, batch size 1, sequence length 384, FP32 ug INT8 precision. Mga detalye sa pananglitan: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 128 GB total DDR4 memory; m6g.8xlarge, 32vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 128 GB total DDR4 memory; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum 8375C CPU @ 2.90GHz, 256 GB nga total nga memorya sa DDR4; m6g.16xlarge, 64vcpus, ARM Neovers N1, Arm v8.2 @2.5GHz, 256 GB total DDR4 memory.
Lainlain ang paghimo sa paggamit, pag-configure ug uban pang mga hinungdan. Pagkat-on pa sa www.Intel.com/PerformanceIndex.
Ang mga resulta sa performance gibase sa pagsulay sa mga petsa nga gipakita sa mga configuration ug mahimong dili magpakita sa tanang update nga anaa sa publiko. Tan-awa ang backup alang sa mga detalye sa pag-configure. Walay produkto o sangkap ang mahimong hingpit nga luwas. Mahimong magkalainlain ang imong gasto ug resulta.
Ang mga teknolohiyang Intel mahimong manginahanglan aktibo nga hardware, software o pag-aktibo sa serbisyo.
© Intel Corporation. Ang Intel, ang logo sa Intel, ug uban pang mga marka sa Intel mga marka sa pamatigayon sa Intel Corporation o mga subsidiary niini. Ang ubang mga ngalan ug mga tatak mahimong maangkon ingon nga kabtangan sa uban.
Giimprinta sa USA 0722/JO/PT/PDF US002
Palihug Recycle
Mga Dokumento / Mga Kapanguhaan
 |
intel Nakab-ot hangtod sa 4.96 ka beses ang BERT-Large Inference [pdf] Giya sa Gumagamit Makab-ot hangtod sa 4.96 ka beses ang BERT-Large Inference, Makab-ot hangtod sa 4.96, Times ang BERT-Large Inference |
