Telemetry ni Junos fun AI/ML Workloads
Onkọwe: Shalini Mukherjee

Ọrọ Iṣaaju

Bii iṣupọ AI trac nilo awọn nẹtiwọọki ti ko ni ipadanu pẹlu iṣelọpọ giga ati airi kekere, apakan pataki ti nẹtiwọọki AI ni ikojọpọ data ibojuwo. Junos Telemetry jẹ ki ibojuwo granular ti awọn afihan iṣẹ ṣiṣe bọtini, pẹlu awọn iloro ati awọn iṣiro fun iṣakoso isunmọ ati iwọntunwọnsi fifuye. Awọn akoko gRPC ṣe atilẹyin ṣiṣanwọle ti data telemetry. gRPC jẹ igbalode, orisun-ìmọ, ilana iṣẹ ṣiṣe giga ti a ṣe lori gbigbe HTTP/2. O funni ni agbara awọn agbara ṣiṣan bidirectional abinibi ati pẹlu awọn metadata aṣa-rọrun rọ ninu awọn akọle ibeere. Igbesẹ akọkọ ni telemetry ni lati mọ kini data yẹ ki o gba. A le lẹhinna ṣe itupalẹ data yii ni awọn ọna kika pupọ. Ni kete ti a ba gba data naa, o ṣe pataki lati ṣafihan ni ọna kika ti o rọrun lati ṣe atẹle, ṣe awọn ipinnu ati ilọsiwaju iṣẹ ti a nṣe. Ninu iwe yii, a lo akopọ telemetry ti o ni Telegraf, InfluxDB, ati Grafana. Akopọ telemetry yii n gba data nipa lilo awoṣe titari kan. Awọn awoṣe fifa aṣa jẹ ohun elo to lekoko, nilo idasi afọwọṣe, ati pe o le pẹlu awọn ela alaye ninu data ti wọn gba. Titari awọn awoṣe bori awọn idiwọn wọnyi nipa jiṣẹ data ni asynchronously. Wọn ṣe alekun data nipa lilo ore-olumulo tags ati awọn orukọ. Ni kete ti data naa ba wa ni ọna kika diẹ sii, a tọju rẹ sinu ibi ipamọ data kan ati lo ninu iworan ibaraenisọrọ web ohun elo fun itupalẹ nẹtiwọki. Olusin. 1 fihan wa bii akopọ yii ṣe ṣe apẹrẹ fun ikojọpọ data ti o munadoko, ibi ipamọ, ati iworan, lati awọn ẹrọ nẹtiwọọki titari data si olugba si data ti n ṣafihan lori awọn dasibodu fun itupalẹ.

TIG akopọ

A lo olupin Ubuntu kan lati fi sori ẹrọ gbogbo sọfitiwia pẹlu akopọ TIG.

Teligirafu
Lati gba data, a lo Telegraf lori olupin Ubuntu ti nṣiṣẹ 22.04.2. Ẹya Telegraf ti n ṣiṣẹ ni demo yii jẹ 1.28.5.
Telegraf jẹ aṣoju olupin ohun itanna kan fun ikojọpọ ati ijabọ awọn metiriki. O nlo ero isise plugins lati bùkún ati normalize awọn data. Ijade naa plugins ni a lo lati fi data yii ranṣẹ si awọn ile itaja data pupọ. Ninu iwe yii a lo meji plugins: ọkan fun awọn sensọ openconfig ati ekeji fun awọn sensọ abinibi Juniper.
InfluxDB
Lati tọju data naa sinu aaye data lẹsẹsẹ akoko, a lo InfluxDB. Ohun itanna ti o jade ni Telegraf firanṣẹ data naa si InfluxDB, eyiti o tọju rẹ ni ọna ṣiṣe to gaju. A nlo V1.8 nitori pe ko si CLI ti o wa fun V2 ati loke.
Grafana
A lo Grafana lati wo data yii. Grafana fa data naa lati InFLuxDB ati gba awọn olumulo laaye lati ṣẹda awọn dasibodu ọlọrọ ati ibaraenisepo. Nibi, a nṣiṣẹ ẹya 10.2.2.

Iṣeto ni Lori The Yipada

Lati ṣe akopọ yii, a nilo akọkọ lati tunto yipada bi o ṣe han ni Nọmba 2. A ti lo ibudo 50051. Eyikeyi ibudo le ṣee lo nibi. Wọle si iyipada QFX ki o ṣafikun iṣeto ni atẹle.

Akiyesi: Iṣeto ni fun awọn ile-iṣẹ / POCs bi ọrọ igbaniwọle ti tan kaakiri ni ọrọ mimọ. Lo SSL lati yago fun eyi.

Ayika

Nginx
Eyi nilo ti o ko ba le ṣafihan ibudo lori eyiti Grafana ti gbalejo. Igbesẹ ti o tẹle ni lati fi nginx sori olupin Ubuntu lati ṣiṣẹ bi aṣoju aṣoju iyipada. Ni kete ti nginx ti fi sii, ṣafikun awọn laini ti o han ni Nọmba 4 si faili “aiyipada” ki o gbe faili naa lati /etc/nginx si /etc/nginx/sites-enabled.

Rii daju pe o ti ṣatunṣe ogiriina lati fun ni iraye si kikun si iṣẹ nginx bi o ṣe han ni Nọmba 5.

Ni kete ti nginx ti fi sori ẹrọ ati awọn ayipada ti o nilo, o yẹ ki a ni anfani lati wọle si Grafana lati a web ẹrọ aṣawakiri nipasẹ lilo adiresi IP ti olupin Ubuntu nibiti gbogbo sọfitiwia ti fi sii.
glitch kekere kan wa ni Grafana ti ko jẹ ki o tun ọrọ igbaniwọle aiyipada pada. Lo awọn igbesẹ wọnyi ti o ba ṣiṣẹ sinu ọran yii.
Awọn igbesẹ lati ṣee ṣe lori olupin Ubuntu lati ṣeto ọrọ igbaniwọle ni Grafana:

• Lọ si /var/lib/grafana/grafana.db
• Fi sori ẹrọ sqlite3
  o sudo apt fi sori ẹrọ sqlite3
• Ṣiṣe aṣẹ yii lori ebute rẹ
  o sqlite3 grafana.db
•  Ilana aṣẹ Sqlite ṣii; ṣiṣe ibeere wọnyi:
  > paarẹ lati olumulo nibiti wiwọle = 'abojuto'
• Tun grafana bẹrẹ ki o tẹ abojuto bi orukọ olumulo ati ọrọ igbaniwọle. O ta fun ọrọ igbaniwọle tuntun kan.

Ni kete ti gbogbo sọfitiwia ti fi sii, ṣẹda faili konfig ni Telegraf eyiti yoo ṣe iranlọwọ fa data telemetry lati yipada ki o Titari si InfluxDB.

Ṣii ohun itanna sensọ

Lori olupin Ubuntu, ṣatunkọ faili /etc/telegraf/telegraf.conf lati ṣafikun gbogbo awọn ti o nilo plugins ati sensosi. Fun awọn sensọ ṣiṣii, a lo ohun itanna gNMI ti o han ni Nọmba 6. Fun awọn idi demo, ṣafikun orukọ olupin bi “spine1”, nọmba ibudo “50051” ti o lo fun gRPC, orukọ olumulo ati ọrọ igbaniwọle ti yipada, ati nọmba naa ti aaya fun redial ni irú ti ikuna.
Ni ipo ṣiṣe alabapin, ṣafikun orukọ alailẹgbẹ kan, “cpu” fun sensọ pato yii, ọna sensọ, ati aarin akoko fun gbigba data yii lati yipada. Ṣafikun awọn igbewọle ohun itanna kanna.gnmi ati inputs.gnmi.subscription fun gbogbo awọn sensọ konfig ṣiṣi. (Aworan 6)

Ohun itanna sensọ abinibi

Eyi jẹ ohun itanna ni wiwo Juniper telemetry ti a lo fun awọn sensọ abinibi. Ninu faili telegraf.conf kanna, ṣafikun awọn igbewọle ohun itanna sensọ abinibi.jti_openconfig_telemetry nibiti awọn aaye ti fẹrẹ jẹ kanna bi openconfig. Lo ID alabara alailẹgbẹ fun gbogbo sensọ; nibi, a lo "telegraf3". Orukọ alailẹgbẹ ti a lo nibi fun sensọ yii jẹ “mem” (Aworan 7).

Nikẹhin, ṣafikun awọn abajade ohun itanna ti o wu jade.influxdb lati firanṣẹ data sensọ yii si InfluxDB. Nibi, aaye data jẹ orukọ “telegraf” pẹlu orukọ olumulo bi “influx” ati ọrọ igbaniwọle “influxdb” (Aworan 8).

Ni kete ti o ba ti ṣatunkọ faili telegraf.conf, tun iṣẹ telegraf bẹrẹ. Bayi, ṣayẹwo ni InfluxDB CLI lati rii daju ti o ba ṣẹda awọn wiwọn fun gbogbo awọn sensọ alailẹgbẹ. Tẹ “influx” lati tẹ InFLuxDB CLI sii.

Bi ti ri ninu Figure. 9, tẹ influxDB tọ ki o lo ibi ipamọ data "telegraf". Gbogbo awọn orukọ alailẹgbẹ ti a fun awọn sensọ ni a ṣe akojọ bi awọn wiwọn.
Lati rii abajade ti eyikeyi wiwọn kan, o kan lati rii daju pe faili telegraf tọ ati pe sensọ n ṣiṣẹ, lo aṣẹ “yan * lati opin cpu 1” bi o ṣe han ni Nọmba 10.

Ni gbogbo igba ti awọn ayipada ba ti ṣe si faili telegraf.conf, rii daju pe o da InFLuxDB duro, tun Telegraf bẹrẹ, lẹhinna bẹrẹ InFLuxDB.
Wọle si Grafana lati ẹrọ aṣawakiri ati ṣẹda awọn dashboards lẹhin idaniloju pe a ti gba data naa ni deede.
Lọ si Awọn isopọ> InfuxDB> Ṣafikun orisun data tuntun.

1. Fun orukọ kan si orisun data yii. Ninu demo yii o jẹ “idanwo-1”.
2.  Labẹ HTTP stanza, lo IP olupin Ubuntu ati ibudo 8086.
   
3. Ninu awọn alaye InFLuxDB, lo orukọ data data kanna, “telegraf,” ati pese orukọ olumulo ati ọrọ igbaniwọle ti olupin Ubuntu.
4. Tẹ Fipamọ & idanwo. Rii daju pe o rii ifiranṣẹ naa, “aṣeyọri”.
   
5. Ni kete ti orisun data ti ṣafikun ni aṣeyọri, lọ si Dashboards ki o tẹ Titun. Jẹ ki a ṣẹda awọn dasibodu diẹ ti o ṣe pataki fun awọn iṣẹ ṣiṣe AI/ML ni ipo olootu.

Examples Of sensọ Graphs

Awọn atẹle jẹ exampdiẹ ninu awọn iṣiro pataki ti o ṣe pataki fun atẹle nẹtiwọọki AI/ML kan.
Ogoruntage iṣamulo fun ingress ni wiwo et-0/0/0 lori ọpa ẹhin-1

• Yan orisun data bi idanwo-1.
• Ni apakan FROM, yan wiwọn bi “ni wiwo”. Eyi ni orukọ alailẹgbẹ ti a lo fun ọna sensọ yii.
• Ni apakan NIBI, yan ẹrọ ::tag, ati ninu awọn tag iye, yan orukọ olupin ti yipada, iyẹn, spine1.
• Ni apakan Yan, yan ẹka sensọ ti o fẹ ṣe atẹle; ninu apere yi yan " aaye (/ awọn atọkun / ni wiwo [if_name = 'et-0/0/0']/state/counters/if_in_1s_octets)". Bayi ni apakan kanna, tẹ “+” ki o ṣafikun iṣiro iṣiro yii (/ 50000000000 * 100). A ti wa ni besikale ṣe iṣiro awọn ogoruntage iṣamulo ti a 400G ni wiwo.
• Rii daju pe FORMAT jẹ “jara-akoko,” ati lorukọ aworan ti o wa ni apakan ALIAS.

Ibugbe ifipamọ ti o ga julọ fun isinyin eyikeyi

• Yan orisun data bi idanwo-1.
• Ni apakan FROM, yan wiwọn bi “fifier.”
• Ni apakan WHERE, awọn aaye mẹta wa lati kun. Yan ẹrọ ::tag, ati ninu awọn tag iye yan orukọ olupin ti yipada (ie spine-1); ATI yan / cos / atọkun / atọkun / @ orukọ ::tag ki o si yan wiwo (ie et- 0/0/0); ATI yan isinyi naa, /cos/awọn atọkun/ni wiwo/awọn queues/queue/@queue::tag ki o si yan nọmba isinyi 4.
• Ni apakan Yan, yan ẹka sensọ ti o fẹ ṣe atẹle; ninu ọran yii yan “ aaye (/cos/awọn atọkun/ayelujara/awọn queues/queue/PeakBuffeerOccupancy).”
• Rii daju pe FORMAT jẹ “ila-akoko” ati lorukọ aworan ni apakan ALIAS.

O le ṣe akojọpọ data fun awọn atọkun pupọ lori iwọn kanna bi a ti rii ni Nọmba 17 fun et-0/0/0, et-0/0/1, et-0/0/2 ati bẹbẹ lọ.

PFC ati ECN tumọ si itọsẹ

Fun wiwa itọsẹ aropin (iyatọ ni iye laarin iwọn akoko), lo ipo ibeere aise.
Eyi ni ibeere influx ti a ti lo lati wa itọsẹ itumọ laarin awọn iye PFC meji lori et-0/0/0 ti Spine-1 ni iṣẹju-aaya kan.
Yan itọsẹ (itumọ si (“/awọn atọkun/ayelujara [if_name=’et-0/0/0′]/state/pfc-counter/tx_pkts”), 1s) LATI “ayelujara” NIBI (“ẹrọ”::tag = 'Spine-1') ATI Ẹgbẹ $timeFilter BY akoko ($ aarin)

Yan itọsẹ (tumọ si (“/ awọn atọkun / atọkun [if_name = 'et-0/0/8′]/state/error-counters/ecn_ce_marked_pkts”), 1s) LATI “ayelujara” NIBI (“ẹrọ”::tag = 'Spine-1') ATI Ẹgbẹ $timeFilter BY akoko ($ aarin)

Awọn aṣiṣe awọn orisun igbewọle tumọ si itọsẹ

Ibeere aise fun awọn aṣiṣe orisun tumọ si itọsẹ jẹ:
Yan itọsẹ (itumọ si (“/ awọn atọkun / atọkun [if_name = 'et-0/0/0′]/state/error-counters/if_in_resource_errors”), 1s) LATI “ayelujara” NIBI (“ẹrọ”::tag = 'Spine-1') ATI Ẹgbẹ $timeFilter BY akoko ($ aarin)

Iru silẹ tumọ si itọsẹ

Ibeere aise fun iru silẹ tumọ si itọsẹ jẹ:
Yan itọsẹ (itumọ si (“/cos/awọn atọkun/ni wiwo/awọn isinyi/queue/tailDropBytes”), 1s) LATI “bufier” NIBI (“ẹrọ”::tag = 'Awe-1' ATI "/ cos / awọn atọkun / atọkun / @ orukọ" ::tag = 'et-0/0/0' AND "/ cos / atọkun / atọkun / queues / ti isinyi / @ isinyi" ::tag = '4') ATI $timeFilter GROUP NIPA akoko($__aarin) kun (asan)
 Sipiyu iṣamulo

• Yan orisun data bi idanwo-1.
• Ni apakan LATI, yan wiwọn bi “newcpu”
• Ninu NIBI, awọn aaye mẹta wa lati kun. Yan ẹrọ ::tag ati ninu awọn tag iye yan orukọ olupin ti yipada (ie ọpa ẹhin-1). ATI ninu / awọn paati / paati / awọn ohun-ini / ohun-ini / orukọ:tag, ki o si yan cpuutilization-lapapọ ATI ni orukọ::tag yan RE0.
• Ni apakan Yan, yan ẹka sensọ ti o fẹ ṣe atẹle. Ni idi eyi, yan "aaye (ipinle/iye)".

Ibeere aise fun wiwa itọsẹ ti kii ṣe odi ti iru silẹ fun awọn iyipada pupọ lori awọn atọkun ọpọ ni awọn die-die/aaya.
Yan non_negative_derivative (tumosi ("/cos/awọn atọkun/ayelujara/queues/queue/tailDropBytes"), 1s)*8 LATI "bufier" NIBI (ẹrọ::tag =~ / ^ Spine- [1-2]$/) ati ("/cos/interfaces/interface/@name"::tag =~ /et-0 \/0 \/ [0-9]/ tabi "/cos/interfaces/interface/@name"::tag=~/et-0 \/0\/1[0-5]/) AND $timeFilter GROUP BY akoko($__interval),ẹrọ::tag kun (asan)

Awọn wọnyi ni diẹ ninu awọn Mofiamples ti awọn aworan ti o le ṣẹda fun mimojuto ohun AI/ML nẹtiwọki.

Lakotan

Iwe yii ṣe apejuwe ọna ti fifa data telemetry ati wiwo rẹ nipa ṣiṣẹda awọn aworan. Iwe yii sọ ni pato nipa awọn sensọ AI/ML, mejeeji abinibi ati ṣiṣii ṣugbọn iṣeto le ṣee lo fun gbogbo iru awọn sensosi. A tun ti ṣafikun awọn solusan fun ọpọlọpọ awọn ọran ti o le koju lakoko ṣiṣẹda iṣeto naa. Awọn igbesẹ ati awọn abajade ti a fihan ninu iwe yii jẹ pato si awọn ẹya ti akopọ TIG ti a mẹnuba tẹlẹ. O jẹ koko ọrọ si iyipada da lori ẹya ti sọfitiwia, awọn sensọ ati ẹya Junos.

Awọn itọkasi

Juniper Yang Data Awoṣe Explorer fun gbogbo awọn aṣayan sensọ
https://apps.juniper.net/ydm-explorer/
Openconfig forum fun openconfig sensosi
https://www.openconfig.net/projects/models/

Ile-iṣẹ Ile-iṣẹ ati Titaja
Juniper Networks, Inc.
1133 Innovation Way
Sunnyvale, CA 94089 USA
Foonu: 888. JUNIPER (888.586.4737)
tabi + 1.408.745.2000
Faksi: +1.408.745.2100
www.juniper.net
APAC ati Ile-iṣẹ EMEA
Juniper Networks International BV
Boeing Avenue 240
1119 PZ Schiphol-Rijk
Amsterdam, Fiorino
foonu: +31.207.125.700
Faksi: +31.207.125.701
Aṣẹ-lori-ara 2023 Juniper Networks. Inc. Ail ẹtọ wa ni ipamọ. Juniper Networks, aami Juniper Networks, Juniper, Junos, ati awọn aami-iṣowo miiran jẹ aami-iṣowo ti a forukọsilẹ ti Juniper Networks. Inc. ati/tabi awọn alafaramo rẹ ni Amẹrika ati awọn orilẹ-ede miiran. Awọn orukọ miiran le jẹ aami-išowo ti awọn oniwun wọn. Juniper Networks ko gba ojuse fun eyikeyi aiṣedeede ninu iwe yi. Juniper Networks ni ẹtọ lati yipada. yipada. gbigbe, tabi bibẹẹkọ tun ṣe atunwo atẹjade yii laisi akiyesi.
Fi esi ranṣẹ si: design-aarin-comments@juniper.net V1.0/240807 / ejm5-telemetry-junos-ai-ml

Awọn iwe aṣẹ / Awọn orisun

Juniper NETWORKS Telemetry Ni Junos fun AI ML Workloads Software [pdf] Itọsọna olumulo Telemetry Ni Junos fun sọfitiwia Awọn iṣẹ ṣiṣe AI ML, Junos fun sọfitiwia Awọn iṣẹ ṣiṣe AI ML, sọfitiwia Awọn iṣẹ ṣiṣe AI ML, sọfitiwia Awọn iṣẹ ṣiṣe, sọfitiwia

Awọn itọkasi

• Itọsọna olumulo