Fjarmæling í Junos fyrir AI/ML vinnuálag
Höfundur: Shalini Mukherjee

Inngangur

Þar sem AI klasaumferð krefst taplausra neta með mikilli afköst og litla leynd, er mikilvægur þáttur gervigreindarnetsins söfnun vöktunargagna. Junos Telemetry gerir nákvæma vöktun á lykilframmistöðuvísum, þar á meðal þröskuldum og teljara fyrir umferðarþungastjórnun og umferðarálagsjöfnun. gRPC lotur styðja streymi fjarmælingagagna. gRPC er nútímalegur, opinn uppspretta, hágæða rammi sem er byggður á HTTP/2 flutningi. Það styrkir innfæddan tvíátta streymisgetu og inniheldur sveigjanleg sérsniðin lýsigögn í beiðnihausum. Fyrsta skrefið í fjarmælingum er að vita hvaða gögnum á að safna. Við getum síðan greint þessi gögn á ýmsum sniðum. Þegar við höfum safnað gögnunum er mikilvægt að setja þau fram á sniði sem auðvelt er að fylgjast með, taka ákvarðanir og bæta þjónustuna sem boðið er upp á. Í þessari grein notum við fjarmælingastafla sem samanstendur af Telegraf, InfluxDB og Grafana. Þessi fjarmælingastafla safnar gögnum með því að nota þrýstilíkan. Hefðbundin dráttarlíkön eru auðlindafrek, krefjast handvirkrar íhlutunar og gætu falið í sér upplýsingaeyður í gögnunum sem þau safna. Push-líkön sigrast á þessum takmörkunum með því að afhenda gögn ósamstillt. Þeir auðga gögnin með því að nota notendavænt tags og nöfn. Þegar gögnin eru komin á læsilegra snið geymum við þau í gagnagrunni og notum þau í gagnvirkri myndgerð web forrit til að greina netið. Mynd. 1 sýnir okkur hvernig þessi stafli er hannaður fyrir skilvirka gagnasöfnun, geymslu og sjón, allt frá nettækjum sem ýta gögnum til safnarans til gagna sem birtast á mælaborðum til greiningar.

TIG stafla

Við notuðum Ubuntu netþjón til að setja upp allan hugbúnaðinn þar á meðal TIG stafla.

Telegraph
Til að safna gögnum notum við Telegraf á Ubuntu netþjóni sem keyrir 22.04.2. Telegraf útgáfan sem keyrir í þessari kynningu er 1.28.5.
Telegraf er viðbótadrifinn netþjónn til að safna og tilkynna mælikvarða. Það notar örgjörva plugins til að auðga og staðla gögnin. Úttakið plugins eru notuð til að senda þessi gögn til ýmissa gagnaverslana. Í þessu skjali notum við tvo plugins: annar fyrir opna samsetningarskynjara og hinn fyrir innfædda Juniper skynjara.
InnflæðiDB
Til að geyma gögnin í tímaraðagagnagrunni notum við InfluxDB. Úttaksviðbótin í Telegraf sendir gögnin til InfluxDB, sem geymir þau á mjög skilvirkan hátt. Við erum að nota V1.8 þar sem ekkert CLI er til staðar fyrir V2 og nýrri.
Grafana
Grafana er notað til að sjá þessi gögn. Grafana dregur gögnin úr InfluxDB og gerir notendum kleift að búa til ríkuleg og gagnvirk mælaborð. Hér erum við að keyra útgáfu 10.2.2.

Stillingar á rofanum

Til að útfæra þennan stafla þurfum við fyrst að stilla rofann eins og sýnt er á mynd 2. Við höfum notað port 50051. Hér er hægt að nota hvaða tengi sem er. Skráðu þig inn á QFX rofann og bættu við eftirfarandi stillingum.

Athugið: Þessi uppsetning er fyrir rannsóknarstofur/POC þar sem lykilorðið er sent með skýrum texta. Notaðu SSL til að forðast þetta.

Umhverfi

Nginx
Þetta er nauðsynlegt ef þú getur ekki afhjúpað höfnina sem Grafana er hýst á. Næsta skref er að setja upp nginx á Ubuntu netþjóninum til að þjóna sem öfugur umboðsmaður. Þegar nginx hefur verið sett upp skaltu bæta línunum sem sýndar eru á mynd 4 við „default“ skrána og færa skrána úr /etc/nginx í /etc/nginx/sites-enabled.

Gakktu úr skugga um að eldveggurinn sé stilltur til að veita fullan aðgang að nginx þjónustunni eins og sýnt er á mynd 5.

Þegar nginx hefur verið sett upp og nauðsynlegar breytingar eru gerðar ættum við að geta fengið aðgang að Grafana frá a web vafra með því að nota IP tölu Ubuntu netþjónsins þar sem allur hugbúnaðurinn er settur upp.
Það er lítill galli í Grafana sem gerir þér ekki kleift að endurstilla sjálfgefið lykilorð. Notaðu þessi skref ef þú lendir í þessu vandamáli.
Skref sem þarf að framkvæma á Ubuntu netþjóninum til að stilla lykilorðið í Grafana:

• Farðu á /var/lib/grafana/grafana.db
• Settu upp sqllite3
  o sudo apt setja upp sqlite3
• Keyrðu þessa skipun á flugstöðinni þinni
  o sqlite3 grafana.db
•  Sqlite skipanalínan opnast; keyrðu eftirfarandi fyrirspurn:
  >eyða af notanda þar sem login='admin'
• Endurræstu grafana og sláðu inn admin sem notandanafn og lykilorð. Það biður um nýtt lykilorð.

Þegar allur hugbúnaðurinn hefur verið settur upp skaltu búa til stillingarskrána í Telegraf sem mun hjálpa til við að draga fjarmælingagögnin úr rofanum og ýta þeim í InfluxDB.

Openconfig Sensor Plugin

Á Ubuntu þjóninum skaltu breyta /etc/telegraf/telegraf.conf skránni til að bæta við öllum nauðsynlegum plugins og skynjara. Fyrir openconfig skynjara notum við gNMI viðbótina sem sýnd er á mynd 6. Í kynningarskyni, bætið við hýsilheitinu sem „spine1“, gáttarnúmerinu „50051“ sem er notað fyrir gRPC, notandanafn og lykilorð rofans og númerið sekúndu til að hringja aftur ef bilun kemur upp.
Í áskriftarorðinu skaltu bæta við einstöku nafni, „örgjörvi“ fyrir þennan tiltekna skynjara, skynjaraleiðina og tímabilið til að grípa þessi gögn úr rofanum. Bættu við sömu viðbótinni inputs.gnmi og inputs.gnmi.subscription fyrir alla opna stillingarskynjara. (Mynd 6)

Native Sensor Plugin

Þetta er Juniper fjarmælingarviðmótsviðmót sem notað er fyrir innfædda skynjara. Í sömu telegraf.conf skrá skaltu bæta innbyggða skynjara viðbótinni inputs.jti_openconfig_telemetry þar sem reitirnir eru næstum þeir sömu og openconfig. Notaðu einstakt auðkenni viðskiptavinar fyrir hvern skynjara; hér notum við "telegraf3". Einkvæma nafnið sem notað er hér fyrir þennan skynjara er „mem“ (Mynd 7).

Að lokum skaltu bæta við útgangsviðbót outputs.influxdb til að senda þessi skynjaragögn til InfluxDB. Hér er gagnagrunnurinn nefndur „telegraf“ með notandanafni sem „influx“ og lykilorði „influxdb“ (mynd 8).

Þegar þú hefur breytt telegraf.conf skránni skaltu endurræsa telegraf þjónustuna. Skoðaðu nú InfluxDB CLI til að ganga úr skugga um hvort mælingar séu búnar til fyrir alla einstöku skynjara. Sláðu inn „influx“ til að slá inn InfluxDB CLI.

Eins og sést á mynd. 9, sláðu inn influxDB hvetja og notaðu gagnagrunninn „telegraf“. Öll einstök nöfn sem gefin eru skynjara eru skráð sem mælingar.
Til að sjá úttak einhverrar mælingar, bara til að ganga úr skugga um að fjarritaskráin sé rétt og skynjarinn virki, notaðu skipunina „velja * frá örgjörvamörkum 1“ eins og sýnt er á mynd 10.

Í hvert sinn sem breytingar eru gerðar á telegraf.conf skránni, vertu viss um að stöðva InfluxDB, endurræsa Telegraf og ræsa síðan InfluxDB.
Skráðu þig inn á Grafana úr vafranum og búðu til mælaborð eftir að hafa gengið úr skugga um að gögnunum sé safnað rétt.
Farðu í Tengingar > InfuxDB > Bæta við nýjum gagnagjafa.

1. Gefðu þessum gagnagjafa nafn. Í þessari kynningu er það „test-1“.
2.  Undir HTTP stanza, notaðu Ubuntu netþjóninn IP og 8086 tengi.
   
3. Í InuxDB upplýsingar, notaðu sama gagnagrunnsnafnið, „telegraf,“ og gefðu upp notandanafn og lykilorð Ubuntu netþjónsins.
4. Smelltu á Vista og prófa. Gakktu úr skugga um að þú sjáir skilaboðin, „vel heppnuð“.
   
5. Þegar gagnagjafanum hefur verið bætt við skaltu fara í Mælaborð og smella á Nýtt. Leyfðu okkur að búa til nokkur mælaborð sem eru nauðsynleg fyrir AI/ML vinnuálag í ritstjóraham.

Examples Af skynjaragröfum

Eftirfarandi eru tdamples af nokkrum helstu teljara sem eru nauðsynlegir til að fylgjast með gervigreind/ML neti.
Prósentatage notkun fyrir ingress tengi et-0/0/0 á spine-1

• Veldu gagnagjafa sem próf-1.
• Í FRÁ hlutanum skaltu velja mælingu sem „viðmót“. Þetta er einstaka nafnið sem notað er fyrir þessa skynjaraslóð.
• Í hlutanum WHERE skaltu velja tæki::tag, og í tag gildi, veldu hýsingarheiti rofans, það er spine1.
• Í SELECT hlutanum skaltu velja skynjaragreinina sem þú vilt fylgjast með; í þessu tilviki skaltu velja „eld(/interfaces/interface[if_name='et-0/0/0']/state/counters/if_in_1s_octets)“. Nú í sama hluta, smelltu á "+" og bættu við þessari útreikningsstærðfræði (/50000000000 * 100). Við erum í grundvallaratriðum að reikna út prósentunatage notkun á 400G tengi.
• Gakktu úr skugga um að FORMAT sé „tímaröð“ og nefndu línuritið í ALIAS hlutanum.

Hámarksfjöldi biðminni fyrir hvaða biðröð sem er

• Veldu gagnagjafa sem próf-1.
• Í hlutanum FRÁ skaltu velja mælingu sem „buffer“.
• Í hlutanum WHERE eru þrír reitir til að fylla út. Veldu tæki::tag, og í tag gildi veldu hýsingarheiti rofans (þ.e. spine-1); OG veldu /cos/interfaces/interface/@name::tag og veldu viðmótið (þ.e. et- 0/0/0); OG veldu biðröðina líka, /cos/interfaces/interface/queues/queue/@queue::tag og veldu biðröð númer 4.
• Í SELECT hlutanum skaltu velja skynjaragreinina sem þú vilt fylgjast með; í þessu tilviki skaltu velja „field(/cos/interfaces/interface/queues/queue/PeakBufferOccupancy).“
• Gakktu úr skugga um að FORMAT sé „tímaröð“ og nefndu línuritið í ALIAS hlutanum.

Þú getur safnað saman gögnum fyrir mörg viðmót á sama grafi eins og sést á mynd 17 fyrir et-0/0/0, et-0/0/1, et-0/0/2 o.s.frv.

PFC og ECN þýðir afleiða

Til að finna meðalafleiðuna (munur á gildi innan ákveðins tímabils), notaðu hráa fyrirspurnarhaminn.
Þetta er innflæðisspurningin sem við höfum notað til að finna meðalafleiðu milli tveggja PFC gilda á et-0/0/0 af Spine-1 á sekúndu.
SELECT afleiðu(mean(“/interfaces/interface[if_name='et-0/0/0′]/state/pfc-counter/tx_pkts”), 1s) FRÁ „viðmót“ WHERE (“tæki“::tag = 'Spine-1') OG $timeFilter GROUP BY time($interval)

SELECT derivative(mean(“/interfaces/interface[if_name='et-0/0/8′]/state/error-counters/ecn_ce_marked_pkts”), 1s) FRÁ „viðmót“ HVAR(“tæki“::tag = 'Spine-1') OG $timeFilter GROUP BY time($interval)

Inntaksauðlindavillur þýða afleiða

Óunna fyrirspurnin um auðlindavillur þýðir afleiða er:
SELECT derivative(mean(“/interfaces/interface[if_name='et-0/0/0′]/state/error-counters/if_in_resource_errors”), 1s) FRÁ „viðmót“ WHERE (“tæki“::tag = 'Spine-1') OG $timeFilter GROUP BY time($interval)

Haladropar þýðir afleiða

Hráa fyrirspurnin um haladropa þýðir afleiða er:
SELECT derivative(mean(“/cos/interfaces/interface/queues/queue/tailDropBytes”), 1s) FROM „buer“ WHERE (“tæki“::tag = 'Leaf-1' OG “/cos/interfaces/interface/@name”::tag = 'et-0/0/0' OG “/cos/interfaces/interface/queues/queue/@queue”::tag = '4') OG $timeFilter GROUP BY time($__interval) fill(null)
 CPU nýting

• Veldu gagnagjafa sem próf-1.
• Í FROM hlutanum, veldu mælinguna sem „newcpu“
• Í WHERE eru þrír reitir til að fylla út. Veldu tæki::tag og í tag gildi veldu hýsingarheiti rofans (þ.e. spine-1). OG í /components/component/properties/property/name:tag, og veldu cpuutilization-total OG í nafni::tag veldu RE0.
• Í SELECT hlutanum skaltu velja skynjaragreinina sem þú vilt fylgjast með. Í þessu tilviki, veldu „field(state/gildi)“.

Hráa fyrirspurnin til að finna óneikvæðu afleiðu halafalla fyrir marga rofa á mörgum viðmótum í bitum/sek.
SELECT non_negative_derivative(mean(“/cos/interfaces/interface/queues/queue/tailDropBytes”), 1s)*8 FRÁ „buffer“ WHERE (tæki::tag =~ /^Spine-[1-2]$/) og ("/cos/interfaces/interface/@name"::tag =~ /et-0\/0\/[0-9]/ eða “/cos/interfaces/interface/@name”::tag=~/et-0\/0\/1[0-5]/) OG $timeFilter GROUP EFTIR tíma($__milli), tæki::tag fylla (núll)

Þetta voru nokkrir af fyrrverandiamples af línuritum sem hægt er að búa til til að fylgjast með gervigreind/ML neti.

Samantekt

Þessi grein sýnir aðferðina við að draga fjarmælingargögn og sjá þau fyrir sér með því að búa til línurit. Þessi grein fjallar sérstaklega um gervigreind/ML skynjara, bæði innfædda og opna samsetningu en uppsetninguna er hægt að nota fyrir alls kyns skynjara. Við höfum einnig innifalið lausnir fyrir mörg vandamál sem þú gætir lent í þegar þú býrð til uppsetninguna. Skrefin og úttakið sem lýst er í þessari grein eru sértæk fyrir útgáfurnar af TIG staflanum sem áður var getið. Það getur breyst eftir útgáfu hugbúnaðarins, skynjara og Junos útgáfu.

Heimildir

Juniper Yang Data Model Explorer fyrir alla skynjaramöguleika
https://apps.juniper.net/ydm-explorer/
Openconfig vettvangur fyrir openconfig skynjara
https://www.openconfig.net/projects/models/

Höfuðstöðvar fyrirtækja og sölu
Juniper Networks, Inc.
1133 Nýsköpunarleið
Sunnyvale, CA 94089 Bandaríkjunum
Sími: 888. JUNIPER (888.586.4737)
eða +1.408.745.2000
Fax: +1.408.745.2100
www.juniper.net
Höfuðstöðvar APAC og EMEA
Juniper Networks International BV
Boeing Avenue 240
1119 PZ Schiphol-Rijk
Amsterdam, Hollandi
Sími: +31.207.125.700
Fax: +31.207.125.701
Höfundarréttur 2023 Juniper Networks. Inc. Ail réttur áskilinn. Juniper Networks, Juniper Networks lógóið, Juniper, Junos og önnur vörumerki eru skráð vörumerki Juniper Networks. hf. og/eða hlutdeildarfélög þess í Bandaríkjunum og öðrum löndum. Önnur nöfn geta verið vörumerki viðkomandi eigenda. Juniper Networks tekur enga ábyrgð á ónákvæmni í þessu skjali. Juniper Networks áskilur sér rétt til að breyta. breyta. flytja, eða á annan hátt endurskoða þetta rit án fyrirvara.
Sendu athugasemdir til: design-center-comments@juniper.net V1.0/240807/ejm5-telemetry-junos-ai-ml

Skjöl / auðlindir

Juniper NETWORKS fjarmæling í Junos fyrir AI ML vinnuálagshugbúnað [pdfNotendahandbók Fjarmæling í Junos fyrir AI ML vinnuálagshugbúnað, Junos fyrir AI ML vinnuálagshugbúnað, AI ML vinnuálagshugbúnaður, vinnuálagshugbúnaður, hugbúnaður

Heimildir

• Notendahandbók