ტელემეტრია Junos-ში AI/ML დატვირთვისთვის
ავტორი: შალინი მუხერჯი

შესავალი

ვინაიდან AI კლასტერული ტრაფიკი მოითხოვს უზარმაზარ ქსელებს მაღალი გამტარუნარიანობით და დაბალი შეყოვნებით, AI ქსელის კრიტიკული ელემენტია მონიტორინგის მონაცემების შეგროვება. Junos Telemetry იძლევა ძირითადი შესრულების მაჩვენებლების მარცვლოვან მონიტორინგს, მათ შორის ზღურბლებსა და მრიცხველებს გადატვირთულობის მართვისა და სატრანსპორტო დატვირთვის დაბალანსებისთვის. gRPC სესიები მხარს უჭერს ტელემეტრიული მონაცემების სტრიმინგს. gRPC არის თანამედროვე, ღია კოდის, მაღალი ხარისხის ჩარჩო, რომელიც აგებულია HTTP/2 ტრანსპორტზე. ის აძლიერებს მშობლიურ ორმხრივი ნაკადის შესაძლებლობებს და მოთხოვნის სათაურებში მოიცავს მოქნილ მორგებულ მეტამონაცემებს. ტელემეტრიის საწყისი ნაბიჯი არის იმის ცოდნა, თუ რა მონაცემები უნდა შეგროვდეს. შემდეგ ჩვენ შეგვიძლია გავაანალიზოთ ეს მონაცემები სხვადასხვა ფორმატში. მას შემდეგ, რაც ჩვენ ვაგროვებთ მონაცემებს, მნიშვნელოვანია, რომ წარმოვადგინოთ ის ფორმატში, რომელიც მარტივია მონიტორინგისთვის, გადაწყვეტილებების მიღებასა და შემოთავაზებული სერვისის გაუმჯობესებაში. ამ ნაშრომში ვიყენებთ ტელემეტრიის დასტას, რომელიც შედგება Telegraf, InuxDB და Grafana-სგან. ეს ტელემეტრიული დასტა აგროვებს მონაცემებს push მოდელის გამოყენებით. გაყვანის ტრადიციული მოდელები რესურსზე ინტენსიურია, საჭიროებს ხელით ჩარევას და შეიძლება შეიცავდეს ინფორმაციის ხარვეზებს მათ მიერ შეგროვებულ მონაცემებში. Push მოდელები გადალახავს ამ შეზღუდვებს მონაცემების ასინქრონულად მიწოდებით. ისინი ამდიდრებენ მონაცემებს მომხმარებლისთვის მოსახერხებელი გამოყენებით tags და სახელები. მას შემდეგ, რაც მონაცემები უფრო იკითხებადი ფორმატშია, ჩვენ ვინახავთ მას მონაცემთა ბაზაში და ვიყენებთ ინტერაქტიულ ვიზუალიზაციაში web აპლიკაცია ქსელის ანალიზისთვის. ფიგურა. 1 გვიჩვენებს, თუ როგორ არის ეს დასტა შექმნილი მონაცემთა ეფექტური შეგროვებისთვის, შესანახად და ვიზუალიზაციისთვის, ქსელური მოწყობილობებიდან, რომლებიც უბიძგებენ მონაცემებს კოლექციონერამდე და დამთავრებულ მონაცემებზე, რომლებიც ნაჩვენებია ანალიზისთვის.

TIG სტეკი

ჩვენ გამოვიყენეთ Ubuntu სერვერი ყველა პროგრამული უზრუნველყოფის დასაინსტალირებლად TIG სტეკის ჩათვლით.

ტელეგრაფი
მონაცემების შესაგროვებლად, ჩვენ ვიყენებთ Telegraf-ს Ubuntu სერვერზე, რომელიც მუშაობს 22.04.2. ამ დემოში გაშვებული Telegraf ვერსია არის 1.28.5.
Telegraf არის პლაგინიზე ორიენტირებული სერვერის აგენტი მეტრიკის შეგროვებისა და მოხსენებისთვის. ის იყენებს პროცესორს plugins მონაცემთა გამდიდრება და ნორმალიზება. გამომავალი plugins გამოიყენება ამ მონაცემების გასაგზავნად სხვადასხვა მონაცემთა მაღაზიებში. ამ დოკუმენტში ჩვენ ვიყენებთ ორს plugins: ერთი openconfig სენსორებისთვის და მეორე Juniper-ის მშობლიური სენსორებისთვის.
InfluxDB
მონაცემთა დროის სერიების მონაცემთა ბაზაში შესანახად, ჩვენ ვიყენებთ InfluxDB. გამომავალი დანამატი Telegraf-ში აგზავნის მონაცემებს InfluxDB-ში, რომელიც ინახავს მას ძალიან ეფექტურად. ჩვენ ვიყენებთ V1.8-ს, რადგან არ არსებობს CLI V2 და ზემოთ.
გრაფანა
Grafana გამოიყენება ამ მონაცემების ვიზუალიზაციისთვის. Grafana ამოიღებს მონაცემებს InfluxDB-დან და საშუალებას აძლევს მომხმარებლებს შექმნან მდიდარი და ინტერაქტიული დაფები. აქ ჩვენ ვიყენებთ 10.2.2 ვერსიას.

კონფიგურაცია გადამრთველზე

ამ სტეკის განსახორციელებლად, ჩვენ ჯერ უნდა დავაკონფიგურიროთ გადამრთველი, როგორც ნაჩვენებია სურათზე 2. ჩვენ გამოვიყენეთ პორტი 50051. აქ ნებისმიერი პორტის გამოყენება შეიძლება. შედით QFX გადამრთველში და დაამატეთ შემდეგი კონფიგურაცია.

შენიშვნა: ეს კონფიგურაცია არის ლაბორატორიებისთვის/POC-ებისთვის, რადგან პაროლი გადაცემულია მკაფიო ტექსტით. ამის თავიდან ასაცილებლად გამოიყენეთ SSL.

გარემო

ნგინქსი
ეს საჭიროა, თუ ვერ ახერხებთ პორტის გამოვლენას, რომელზედაც მასპინძლობს Grafana. შემდეგი ნაბიჯი არის nginx-ის ინსტალაცია Ubuntu სერვერზე, რათა გახდეს საპირისპირო პროქსი აგენტი. მას შემდეგ, რაც nginx დაინსტალირდება, დაამატეთ 4-ზე ნაჩვენები ხაზები „ნაგულისხმევ“ ფაილს და გადაიტანეთ ფაილი /etc/nginx-დან /etc/nginx/sites-enabled-ზე.

დარწმუნდით, რომ Firewall მორგებულია nginx სერვისზე სრული წვდომის მისაცემად, როგორც ეს ნაჩვენებია სურათზე 5.

მას შემდეგ, რაც nginx დაინსტალირდება და საჭირო ცვლილებები განხორციელდება, ჩვენ უნდა შეგვეძლოს Grafana-დან წვდომა web ბრაუზერი Ubuntu სერვერის IP მისამართის გამოყენებით, სადაც დაინსტალირებულია ყველა პროგრამა.
Grafana-ში არის პატარა ხარვეზი, რომელიც არ გაძლევთ საშუალებას გადააყენოთ ნაგულისხმევი პაროლი. გამოიყენეთ ეს ნაბიჯები, თუ ამ პრობლემას წააწყდებით.
ნაბიჯები, რომლებიც უნდა შესრულდეს Ubuntu სერვერზე Grafana-ში პაროლის დასაყენებლად:

• გადადით /var/lib/grafana/grafana.db-ზე
• დააინსტალირეთ sqllite3
  o sudo apt დააინსტალირეთ sqlite3
• გაუშვით ეს ბრძანება თქვენს ტერმინალზე
  o sqlite3 grafana.db
•  Sqlite ბრძანების სტრიქონი იხსნება; გაუშვით შემდეგი შეკითხვა:
  >წაშლა მომხმარებლისგან სადაც login='admin'
• გადატვირთეთ grafana და ჩაწერეთ admin როგორც მომხმარებლის სახელი და პაროლი. ის ითხოვს ახალ პაროლს.

მას შემდეგ, რაც ყველა პროგრამული უზრუნველყოფა დაინსტალირდება, შექმენით კონფიგურაციის ფაილი Telegraf-ში, რომელიც დაეხმარება ტელემეტრიის მონაცემების ამოღებას გადამრთველიდან და გადატანას InfluxDB-ზე.

Openconfig სენსორის დანამატი

Ubuntu სერვერზე შეცვალეთ /etc/telegraf/telegraf.conf ფაილი, რომ დაამატოთ ყველა საჭირო plugins და სენსორები. openconfig სენსორებისთვის ვიყენებთ gNMI დანამატს, რომელიც ნაჩვენებია სურათზე 6. დემო მიზნებისთვის, დაამატეთ ჰოსტის სახელი, როგორც „spine1“, პორტის ნომერი „50051“, რომელიც გამოიყენება gRPC-სთვის, გადამრთველის მომხმარებლის სახელი და პაროლი და ნომერი. წამის ხელახალი აკრეფა წარუმატებლობის შემთხვევაში.
სააბონენტო სტროფში დაამატეთ უნიკალური სახელი, „cpu“ ამ კონკრეტული სენსორისთვის, სენსორის ბილიკი და დროის ინტერვალი ამ მონაცემთა გადამრთველიდან ამოღებისთვის. დაამატეთ იგივე დანამატის inputs.gnmi და inputs.gnmi.subscription ყველა ღია კონფიგურაციის სენსორისთვის. (სურათი 6)

მშობლიური სენსორის დანამატი

ეს არის Juniper ტელემეტრიის ინტერფეისის მოდული, რომელიც გამოიყენება მშობლიური სენსორებისთვის. იმავე telegraf.conf ფაილში დაამატეთ ძირითადი სენსორის დანამატის inputs.jti_openconfig_telemetry სადაც ველები თითქმის იგივეა, რაც openconfig. გამოიყენეთ უნიკალური კლიენტის ID თითოეული სენსორისთვის; აქ ჩვენ ვიყენებთ "telegraf3". უნიკალური სახელი, რომელიც აქ გამოიყენება ამ სენსორისთვის არის "mem" (სურათი 7).

და ბოლოს, დაამატეთ გამომავალი დანამატი outputs.influxdb ამ სენსორის მონაცემების InfluxDB-ში გასაგზავნად. აქ მონაცემთა ბაზას დაარქვეს „telegraf“ მომხმარებლის სახელით „inux“ და პაროლი „inuxdb“ (სურათი 8).

telegraf.conf ფაილის რედაქტირების შემდეგ გადატვირთეთ telegraf სერვისი. ახლა შეამოწმეთ InfluxDB CLI, რათა დარწმუნდეთ, არის თუ არა გაზომვები შექმნილი ყველა უნიკალური სენსორისთვის. აკრიფეთ „inux“ InfluxDB CLI-ში შესასვლელად.

როგორც ნახატზე ჩანს. 9, შეიყვანეთ influxDB მოთხოვნა და გამოიყენეთ მონაცემთა ბაზა "telegraf". სენსორებისთვის მინიჭებული ყველა უნიკალური სახელი ჩამოთვლილია გაზომვის სახით.
ნებისმიერი ერთი გაზომვის შედეგის სანახავად, უბრალოდ იმისათვის, რომ დარწმუნდეთ, რომ ტელეგრაფის ფაილი სწორია და სენსორი მუშაობს, გამოიყენეთ ბრძანება „არჩევა * პროცესორის ლიმიტი 1-დან“, როგორც ნაჩვენებია სურათზე 10.

ყოველთვის, როცა telegraf.conf ფაილში ცვლილებები განხორციელდება, დარწმუნდით, რომ შეაჩერეთ InfluxDB, გადატვირთეთ Telegraf და შემდეგ დაიწყეთ InfluxDB.
შედით Grafana-ში ბრაუზერიდან და შექმენით დაფები მონაცემების სწორად შეგროვების შემდეგ.
გადადით კავშირებზე > InfuxDB > მონაცემთა ახალი წყაროს დამატება.

1. მიეცით სახელი ამ მონაცემთა წყაროს. ამ დემოში ეს არის "ტესტი-1".
2.  HTTP სტროფის ქვეშ გამოიყენეთ Ubuntu სერვერის IP და 8086 პორტი.
   
3. InfluxDB დეტალებში გამოიყენეთ მონაცემთა ბაზის იგივე სახელი, „telegraf“ და მიუთითეთ Ubuntu სერვერის მომხმარებლის სახელი და პაროლი.
4. დააწკაპუნეთ შენახვა და ტესტირება. დარწმუნდით, რომ ხედავთ შეტყობინებას "წარმატებული".
   
5. მას შემდეგ რაც მონაცემთა წყარო წარმატებით დაემატება, გადადით Dashboards-ზე და დააწკაპუნეთ ახალი. მოდით შევქმნათ რამდენიმე დაფა, რომლებიც აუცილებელია AI/ML დატვირთვისთვის რედაქტორის რეჟიმში.

Exampსენსორის გრაფიკების les

შემდეგი არის ყოფილიampზოგიერთი ძირითადი მრიცხველი, რომელიც აუცილებელია AI/ML ქსელის მონიტორინგისთვის.
პერჩენიtage გამოყენება ingress ინტერფეისისთვის et-0/0/0 spine-1-ზე

• აირჩიეთ მონაცემთა წყარო, როგორც ტესტი-1.
• FROM განყოფილებაში აირჩიეთ გაზომვა, როგორც "ინტერფეისი". ეს არის უნიკალური სახელი, რომელიც გამოიყენება ამ სენსორის ბილიკისთვის.
• WHERE განყოფილებაში აირჩიეთ მოწყობილობა::tagდა ში tag მნიშვნელობა, აირჩიეთ გადამრთველის ჰოსტის სახელი, ანუ spine1.
• SELECT განყოფილებაში აირჩიეთ სენსორის ფილიალი, რომლის მონიტორინგიც გსურთ; ამ შემთხვევაში აირჩიეთ ველი (/interfaces/interface[if_name='et-0/0/0']/state/counters/if_in_1s_octets)". ახლა იმავე განყოფილებაში დააწკაპუნეთ "+"-ზე და დაამატეთ ეს გამოთვლა მათემატიკა (/50000000000 * 100). ჩვენ ძირითადად ვიანგარიშებთ პროცენტსtag400G ინტერფეისის გამოყენება.
• დარწმუნდით, რომ FORMAT არის „დროის სერია“ და დაასახელეთ გრაფიკი ALIAS განყოფილებაში.

პიკური ბუფერის დაკავება ნებისმიერი რიგისთვის

• აირჩიეთ მონაცემთა წყარო, როგორც ტესტი-1.
• FROM განყოფილებაში აირჩიეთ გაზომვა, როგორც "ბუფერი".
• WHERE განყოფილებაში არის სამი ველი შესავსებად. აირჩიეთ მოწყობილობა::tagდა ში tag მნიშვნელობა აირჩიეთ გადამრთველის ჰოსტის სახელი (ანუ spine-1); და აირჩიეთ /cos/interfaces/interface/@name::tag და აირჩიეთ ინტერფეისი (ანუ et- 0/0/0); და ასევე აირჩიეთ რიგი, /cos/interfaces/interface/queues/queue/@queue::tag და აირჩიეთ რიგის ნომერი 4.
• SELECT განყოფილებაში აირჩიეთ სენსორის ფილიალი, რომლის მონიტორინგიც გსურთ; ამ შემთხვევაში აირჩიეთ "ველი (/cos/interfaces/interface/queues/queue/PeakBufferOccupancy)."
• დარწმუნდით, რომ FORMAT არის „დროის სერია“ და დაასახელეთ გრაფიკი ALIAS განყოფილებაში.

თქვენ შეგიძლიათ შეაგროვოთ მონაცემები მრავალი ინტერფეისისთვის ერთსა და იმავე გრაფიკზე, როგორც ეს ნაჩვენებია 17-ში et-0/0/0, et-0/0/1, et-0/0/2 და ა.შ.

PFC და ECN საშუალო წარმოებული

საშუალო წარმოებულის საპოვნელად (მნიშვნელობის სხვაობა დროის დიაპაზონში) გამოიყენეთ დაუმუშავებელი მოთხოვნის რეჟიმი.
ეს არის შემოდინების მოთხოვნა, რომელიც ჩვენ გამოვიყენეთ საშუალო წარმოებულის მოსაძებნად ორ PFC მნიშვნელობას შორის Spine-0-ის et-0/0/1 წამში.
SELECT წარმოებული(mean(“/interfaces/interface[if_name='et-0/0/0′]/state/pfc-counter/tx_pkts”), 1s) FROM “interface” WHERE (“device”::tag = 'ხერხემლის-1') და $timeFilter ჯგუფი დროის მიხედვით ($interval)

SELECT წარმოებული(mean(“/interfaces/interface[if_name='et-0/0/8′]/state/error-counters/ecn_ce_marked_pkts”), 1s) FROM “interface” WHERE (“device”::tag = 'ხერხემლის-1') და $timeFilter ჯგუფი დროის მიხედვით ($interval)

შეყვანის რესურსის შეცდომები ნიშნავს წარმოებულს

რესურსის შეცდომების დაუმუშავებელი მოთხოვნა ნიშნავს წარმოებულს:
SELECT წარმოებული(mean(“/interfaces/interface[if_name='et-0/0/0′]/state/error-counters/if_in_resource_errors”), 1s) FROM “interface” WHERE (“device”::tag = 'ხერხემლის-1') და $timeFilter ჯგუფი დროის მიხედვით ($interval)

კუდის წვეთები ნიშნავს წარმოებულს

კუდის წვეთების დაუმუშავებელი მოთხოვნა ნიშნავს წარმოებულს:
SELECT წარმოებული(mean(“/cos/interfaces/interface/queues/queue/tailDropBytes”), 1s) FROM “buer” WHERE (“device”::tag = 'Leaf-1' და "/cos/interfaces/interface/@name"::tag = 'et-0/0/0' და "/cos/interfaces/interface/queues/queue/@queue"::tag = '4') და $timeFilter ჯგუფი დროის მიხედვით ($__ინტერვალი) შევსება (null)
 პროცესორის გამოყენება

• აირჩიეთ მონაცემთა წყარო, როგორც ტესტი-1.
• FROM განყოფილებაში აირჩიეთ გაზომვა, როგორც "newcpu"
• WHERE-ში არის სამი ველი შესავსებად. აირჩიეთ მოწყობილობა::tag და ში tag მნიშვნელობა აირჩიეთ გადამრთველის ჰოსტის სახელი (ანუ spine-1). და /კომპონენტებში/კომპონენტში/თვისებებს/საკუთრებაში/სახელში:tagდა აირჩიეთ cputilization-total AND სახელით::tag აირჩიეთ RE0.
• SELECT განყოფილებაში აირჩიეთ სენსორის ფილიალი, რომლის მონიტორინგიც გსურთ. ამ შემთხვევაში აირჩიეთ "ველი (მდგომარეობა/მნიშვნელობა)".

დაუმუშავებელი მოთხოვნა კუდის წვეთების არაუარყოფითი წარმოებულის საპოვნელად მრავალჯერადი გადამრთველისთვის მრავალ ინტერფეისზე ბიტებში/წმ.
SELECT non_negative_derivative(mean(“/cos/interfaces/interface/queues/queue/tailDropBytes”), 1s)*8 FROM “buer” WHERE (მოწყობილობა::tag =~ /^Spine-[1-2]$/) და („/cos/interfaces/interface/@name“::tag =~ /et-0\/0\/[0-9]/ ან „/cos/interfaces/interface/@name“::tag=~/et-0\/0\/1[0-5]/) და $timeFilter ჯგუფი დროით ($__ინტერვალი), მოწყობილობა::tag შევსება (null)

ეს იყო ზოგიერთი ყოფილიampგრაფიკები, რომლებიც შეიძლება შეიქმნას AI/ML ქსელის მონიტორინგისთვის.

რეზიუმე

ეს ნაშრომი ასახავს ტელემეტრიული მონაცემების ამოღების და მისი ვიზუალიზაციის მეთოდს გრაფიკების შექმნით. ეს ნაშრომი კონკრეტულად საუბრობს AI/ML სენსორებზე, როგორც მშობლიურ, ასევე ღია კონფიგურაციაზე, მაგრამ კონფიგურაცია შეიძლება გამოყენებულ იქნას ყველა სახის სენსორისთვის. ჩვენ ასევე შევიტანეთ გადაწყვეტილებები მრავალი პრობლემისთვის, რომლებიც შეიძლება შეგექმნათ დაყენების შექმნისას. ამ ნაშრომში ასახული ნაბიჯები და შედეგები სპეციფიკურია TIG სტეკის ადრე ნახსენები ვერსიებისთვის. ის შეიძლება შეიცვალოს პროგრამული უზრუნველყოფის ვერსიის, სენსორების და Junos ვერსიის მიხედვით.

ცნობები

Juniper Yang Data Model Explorer ყველა სენსორის ვარიანტისთვის
https://apps.juniper.net/ydm-explorer/
Openconfig ფორუმი openconfig სენსორებისთვის
https://www.openconfig.net/projects/models/

კორპორატიული და გაყიდვების შტაბი
Juniper Networks, Inc.
1133 ინოვაციის გზა
Sunnyvale, CA 94089 აშშ
ტელეფონი: 888. JUNIPER (888.586.4737)
ან +1.408.745.2000
ფაქსი: +1.408.745.2100
www.juniper.net
APAC და EMEA-ს შტაბ-ბინა
Juniper Networks International BV
ბოინგის გამზირი 240
1119 PZ Schiphol-Rijk
ამსტერდამი, ნიდერლანდები
ტელეფონი: +31.207.125.700
ფაქსი: +31.207.125.701
საავტორო უფლება 2023 Juniper Networks. Inc. საჰაერო უფლებები დაცულია. Juniper Networks, Juniper Networks-ის ლოგო, Juniper, Junos და სხვა სავაჭრო ნიშნები არის Juniper Networks-ის რეგისტრირებული სავაჭრო ნიშნები. inc. და/ან მის ფილიალებს შეერთებულ შტატებსა და სხვა ქვეყნებში. სხვა სახელები შეიძლება იყოს მათი შესაბამისი მფლობელების სავაჭრო ნიშნები. Juniper Networks არ იღებს პასუხისმგებლობას ამ დოკუმენტის უზუსტობებზე. Juniper Networks იტოვებს შეცვლის უფლებას. მოდიფიცირება. გადასცეს, ან სხვაგვარად გადახედოს ამ პუბლიკაციას შეტყობინების გარეშე.
გამოხმაურების გაგზავნა: design-center-comments@juniper.net V1.0/240807/ejm5-telemetry-junos-ai-ml

დოკუმენტები / რესურსები

Juniper NETWORKS Telemetry In Junos for AI ML Workloads Software [pdf] მომხმარებლის სახელმძღვანელო Telemetry In Junos for AI ML Workloads Software, Junos for AI ML Workloads Software, AI ML Workloads Software, Workloads Software, Software

ცნობები

• მომხმარებლის სახელმძღვანელო