Texas Instruments AM6x ავითარებს მრავალკამერიანი მომხმარებლის სახელმძღვანელოს

სისტემაში მრავალი კამერის გამოყენება აძლიერებს შესაძლებლობებს და შესაძლებელს ხდის ისეთი ამოცანების შესრულებას, რომელთა მიღწევაც ერთი კამერით შეუძლებელი იყო.

აპლიკაციები, რომლებიც იყენებენ მრავალ კამერას:

უსაფრთხოების მეთვალყურეობა: აუმჯობესებს მეთვალყურეობის დაფარვას, ობიექტების თვალყურის დევნებას და ამოცნობის სიზუსტეს.
გარს View: უზრუნველყოფს სტერეო ხედვას ისეთი ამოცანებისთვის, როგორიცაა დაბრკოლებების აღმოჩენა და ობიექტების მანიპულირება.

სალონის ჩამწერი და კამერის სარკის სისტემა: უზრუნველყოფს ხანგრძლივ დაფარვას და აქრობს ბრმა ლაქებს.
სამედიცინო ვიზუალიზაცია: უზრუნველყოფს გაუმჯობესებულ სიზუსტეს ქირურგიულ ნავიგაციასა და ენდოსკოპიაში.

დრონები და აეროფოტოგრაფირება: გადაიღეთ მაღალი გარჩევადობის სურათები სხვადასხვა კუთხიდან სხვადასხვა აპლიკაციებისთვის.

რამდენიმე CSI-2 კამერის SoC-თან დაკავშირება:
SoC-ზე რამდენიმე CSI-2 კამერის დასაკავშირებლად, მიჰყევით მომხმარებლის სახელმძღვანელოში მოცემულ ინსტრუქციებს. უზრუნველყავით თითოეული კამერის სათანადო გასწორება და მიერთება SoC-ზე მითითებულ პორტებთან.

განაცხადის შენიშვნა
AM6x-ზე მრავალკამერიანი აპლიკაციების შემუშავება

Jianzhong Xu, Qutaiba Saleh

აბსტრაქტი
ეს ანგარიში აღწერს აპლიკაციის შემუშავებას AM2x მოწყობილობების ოჯახში არსებული მრავალი CSI-6 კამერის გამოყენებით. წარმოდგენილია AM4A SoC-ზე 62 კამერაზე ღრმა სწავლების მქონე ობიექტის აღმოჩენის საცნობარო დიზაინი შესრულების ანალიზით. დიზაინის ზოგადი პრინციპები ვრცელდება სხვა SoC-ებზე CSI-2 ინტერფეისით, როგორიცაა AM62x და AM62P.

შესავალი

ჩაშენებული კამერები მნიშვნელოვან როლს ასრულებენ თანამედროვე ხედვის სისტემებში. სისტემაში მრავალი კამერის გამოყენება აფართოებს ამ სისტემების შესაძლებლობებს და უზრუნველყოფს ისეთ შესაძლებლობებს, რომლებიც ერთი კამერით შეუძლებელია. ქვემოთ მოცემულია რამდენიმე მაგალითი.ampრამდენიმე ჩაშენებული კამერის გამოყენებით აპლიკაციების რაოდენობა:

უსაფრთხოების მეთვალყურეობა: სტრატეგიულად განლაგებული მრავალი კამერა უზრუნველყოფს ყოვლისმომცველ მეთვალყურეობის დაფარვას. ისინი პანორამულ ხედებსაც უზრუნველყოფენ. views, ამცირებს ბრმა ზონებს და ზრდის ობიექტების თვალყურის დევნებისა და ამოცნობის სიზუსტეს, რითაც აუმჯობესებს უსაფრთხოების საერთო ზომებს.
გარს Viewსტერეო ხედვის შესაქმნელად გამოიყენება მრავალი კამერა, რაც სამგანზომილებიანი ინფორმაციის მიღებისა და სიღრმის შეფასების საშუალებას იძლევა. ეს გადამწყვეტია ისეთი ამოცანებისთვის, როგორიცაა დაბრკოლებების აღმოჩენა ავტონომიურ მანქანებში, ობიექტების ზუსტი მანიპულირება რობოტიკაში და გაფართოებული რეალობის გამოცდილების გაუმჯობესებული რეალიზმი.

სალონის ჩამწერი და კამერის სარკის სისტემა: ავტომობილის სალონის ჩამწერი მრავალი კამერით ერთი პროცესორის გამოყენებით უფრო მეტ დაფარვას უზრუნველყოფს. ანალოგიურად, ორი ან მეტი კამერის მქონე კამერის სარკის სისტემას შეუძლია გააფართოვოს მძღოლის ხედვის არეალი. view და აღმოფხვრის ბრმა ზონებს მანქანის ყველა მხრიდან.
სამედიცინო ვიზუალიზაცია: სამედიცინო ვიზუალიზაციაში შესაძლებელია მრავალი კამერის გამოყენება ქირურგიული ნავიგაციის მსგავსი ამოცანების შესასრულებლად, რაც ქირურგებს აძლევს მრავალ პერსპექტივას გაუმჯობესებული სიზუსტისთვის. ენდოსკოპიაში მრავალი კამერა საშუალებას იძლევა შინაგანი ორგანოების საფუძვლიანი გამოკვლევის.

დრონები და აეროფოტოგრაფირება: დრონები ხშირად აღჭურვილია მრავალი კამერით, რათა სხვადასხვა კუთხიდან მაღალი გარჩევადობის სურათები ან ვიდეოები გადაიღონ. ეს სასარგებლოა ისეთ აპლიკაციებში, როგორიცაა აეროფოტოგრაფირება, სოფლის მეურნეობის მონიტორინგი და მიწის აზომვა.
მიკროპროცესორების განვითარებასთან ერთად, მრავალი კამერის ინტეგრირება შესაძლებელია ერთ ჩიპზე მომუშავე სისტემაში.
(SoC) კომპაქტური და ეფექტური გადაწყვეტილებების უზრუნველსაყოფად. AM62Ax SoC, მაღალი ხარისხის ვიდეო/ვიდეო დამუშავებით და ღრმა სწავლების აჩქარებით, იდეალური მოწყობილობაა ზემოთ აღნიშნული გამოყენების შემთხვევებისთვის. კიდევ ერთი AM6x მოწყობილობა, AM62P, შექმნილია მაღალი ხარისხის ჩაშენებული 3D დისპლეის აპლიკაციებისთვის. 3D გრაფიკის აჩქარებით აღჭურვილი, AM62P-ს შეუძლია მარტივად შეაერთოს მრავალი კამერიდან მიღებული სურათები და შექმნას მაღალი გარჩევადობის პანორამული კადრები. viewAM62A/AM62P SoC-ის ინოვაციური მახასიათებლები წარმოდგენილია სხვადასხვა პუბლიკაციებში, როგორიცაა [4], [5], [6] და ა.შ. ეს აპლიკაციის შენიშვნა არ გაიმეორებს ამ მახასიათებლების აღწერილობას, არამედ ყურადღებას გაამახვილებს AM2A/AM62P-ზე ჩაშენებულ ხედვის აპლიკაციებში მრავალი CSI-62 კამერის ინტეგრირებაზე.

ცხრილი 1-1 გვიჩვენებს AM62A-სა და AM62P-ს შორის ძირითად განსხვავებებს გამოსახულების დამუშავების თვალსაზრისით.

ცხრილი 1-1. განსხვავებები AM62A-სა და AM62P-ს შორის გამოსახულების დამუშავების თვალსაზრისით

SoC	AM62A	AM62P
მხარდაჭერილი კამერის ტიპი	ჩაშენებული ინტერნეტ პროვაიდერით ან მის გარეშე	ჩაშენებული ინტერნეტ პროვაიდერით
კამერის გამომავალი მონაცემები	Raw/YUV/RGB	YUV/RGB
ინტერნეტ პროვაიდერი HWA	დიახ	არა
ღრმა სწავლების HWA	დიახ	არა
3-D გრაფიკა HWA	არა	დიახ

რამდენიმე CSI-2 კამერის SoC-თან დაკავშირება
AM6x SoC-ზე კამერის ქვესისტემა შეიცავს შემდეგ კომპონენტებს, როგორც ეს ნაჩვენებია სურათ 2-1-ში:

MIPI D-PHY მიმღები: იღებს ვიდეო ნაკადებს გარე კამერებიდან, მხარს უჭერს 1.5 გბიტ/წმ-მდე სიჩქარეს თითო მონაცემთა ზოლზე 4 ხაზისთვის.

CSI-2 მიმღები (RX): იღებს ვიდეო ნაკადებს D-PHY მიმღებიდან და ან პირდაპირ აგზავნის ნაკადებს ინტერნეტ პროვაიდერთან, ან აგზავნის მონაცემებს DDR მეხსიერებაში. ეს მოდული მხარს უჭერს 16-მდე ვირტუალურ არხს.
SHIM: DMA შეფუთვის ფუნქცია, რომელიც საშუალებას იძლევა ჩაწერილი ნაკადების მეხსიერებაში DMA-ს მეშვეობით გაგზავნა. ამ შეფუთვის მეშვეობით შესაძლებელია მრავალი DMA კონტექსტის შექმნა, სადაც თითოეული კონტექსტი შეესაბამება CSI-2 მიმღების ვირტუალურ არხს.

AM6x-ზე შესაძლებელია მრავალი კამერის მხარდაჭერა CSI-2 RX-ის ვირტუალური არხების გამოყენებით, მიუხედავად იმისა, რომ SoC-ზე მხოლოდ ერთი CSI-2 RX ინტერფეისია. კამერის მრავალი ნაკადის გაერთიანებისა და ერთ SoC-ზე გადასაგზავნად საჭიროა გარე CSI-2 აგრეგაციის კომპონენტი. შესაძლებელია CSI-2 აგრეგაციის ორი ტიპის გადაწყვეტის გამოყენება, რომლებიც აღწერილია შემდეგ სექციებში.

CSI-2 აგრეგატორი SerDes-ის გამოყენებით
რამდენიმე კამერის ნაკადის გაერთიანების ერთ-ერთი გზაა სერიალიზაციისა და დესერიალიზაციის (SerDes) გადაწყვეტის გამოყენება. თითოეული კამერიდან CSI-2 მონაცემები გარდაიქმნება სერიალიზატორის მიერ და გადაიცემა კაბელის საშუალებით. დესერიალიზატორი იღებს კაბელებიდან (თითო კაბელი თითო კამერაზე) გადაცემულ ყველა სერიალიზებულ მონაცემს, გარდაქმნის ნაკადებს ისევ CSI-2 მონაცემებად და შემდეგ აგზავნის გადაჯაჭვულ CSI-2 ნაკადს SoC-ზე არსებულ ერთ CSI-2 RX ინტერფეისზე. თითოეული კამერის ნაკადი იდენტიფიცირებულია უნიკალური ვირტუალური არხით. ეს აგრეგაციის გადაწყვეტა დამატებით უპირატესობას გვთავაზობს, რადგან საშუალებას იძლევა კამერებიდან SoC-მდე 15 მეტრამდე მანძილზე კავშირის დამყარების.

AM3x Linux SDK-ში მხარდაჭერილი FPD-Link ან V6-Link სერიალიზატორები და დესერიალიზატორები (SerDes) ამ ტიპის CSI-2 აგრეგაციის გადაწყვეტისთვის ყველაზე პოპულარული ტექნოლოგიებია. როგორც FPD-Link, ასევე V3-Link დესერიალიზატორებს აქვთ უკანა არხები, რომელთა გამოყენება შესაძლებელია კადრების სინქრონიზაციის სიგნალების გასაგზავნად ყველა კამერის სინქრონიზაციისთვის, როგორც ეს [7]-შია ახსნილი.
სურათი 2-2 გვიჩვენებს ყოფილიampSerDes-ის გამოყენების მეთოდი მრავალი კამერის ერთ AM6x SoC-თან დასაკავშირებლად.

ყოფილიampამ აგრეგაციის გადაწყვეტის ნაწილი შეგიძლიათ იხილოთ Arducam V3Link კამერის გადაწყვეტის კომპლექტში. ამ კომპლექტს აქვს დესერიალიზატორის ჰაბი, რომელიც აგრეგირებს 4 CSI-2 კამერის ნაკადს, ასევე V4link სერიალიზატორების და IMX3 კამერების 219 წყვილს, მათ შორის FAKRA კოაქსიალურ კაბელებს და 22-პინიან FPC კაბელებს. ქვემოთ განხილული საცნობარო დიზაინი აგებულია ამ კომპლექტზე.

CSI-2 აგრეგატორი SerDes-ის გამოყენების გარეშე
ამ ტიპის აგრეგატორს შეუძლია პირდაპირ დაუკავშირდეს რამდენიმე MIPI CSI-2 კამერას და ყველა კამერიდან მიღებული მონაცემები ერთ CSI-2 გამომავალ ნაკადად გააერთიანოს.

სურათი 2-3 გვიჩვენებს ყოფილიampასეთი სისტემის ლე. ამ ტიპის აგრეგაციის გადაწყვეტა არ იყენებს სერიალიზატორს/დესერიალიზატორს, მაგრამ შეზღუდულია CSI-2 მონაცემთა გადაცემის მაქსიმალური მანძილით, რომელიც 30 სმ-მდეა. AM6x Linux SDK არ უჭერს მხარს ამ ტიპის CSI-2 აგრეგატორის გამოყენებას.

პროგრამული უზრუნველყოფის გამოყენებით მრავალი კამერის ჩართვა

კამერის ქვესისტემის პროგრამული უზრუნველყოფის არქიტექტურა
სურათი 3-1 გვიჩვენებს AM62A/AM62P Linux SDK-ში კამერის გადაღების სისტემის პროგრამული უზრუნველყოფის მაღალი დონის ბლოკ-დიაგრამას, რომელიც შეესაბამება სურათი 2-2-ზე მოცემულ აპარატურულ სისტემას.

ეს პროგრამული არქიტექტურა საშუალებას აძლევს SoC-ს მიიღოს მრავალი კამერის ნაკადი SerDes-ის გამოყენებით, როგორც ეს ნაჩვენებია სურათ 2-2-ზე. FPD-Link/V3-Link SerDes თითოეულ კამერას ანიჭებს უნიკალურ I2C მისამართს და ვირტუალურ არხს. უნდა შეიქმნას უნიკალური მოწყობილობის ხის გადაფარვა თითოეული კამერისთვის უნიკალური I2C მისამართით. CSI-2 RX დრაივერი ამოიცნობს თითოეულ კამერას უნიკალური ვირტუალური არხის ნომრის გამოყენებით და ქმნის DMA კონტექსტს თითოეული კამერის ნაკადისთვის. ვიდეო კვანძი იქმნება თითოეული DMA კონტექსტისთვის. თითოეული კამერიდან მონაცემები შემდეგ მიიღება და ინახება DMA-ს გამოყენებით მეხსიერებაში შესაბამისად. მომხმარებლის სივრცის აპლიკაციები იყენებენ თითოეული კამერის შესაბამის ვიდეო კვანძებს კამერის მონაცემებზე წვდომისთვის. მაგ.ampამ პროგრამული უზრუნველყოფის არქიტექტურის გამოყენების ინსტრუქციები მოცემულია მე-4 თავში - საცნობარო დიზაინი.
ნებისმიერ კონკრეტულ სენსორის დრაივერს, რომელიც თავსებადია V4L2 ჩარჩოსთან, შეუძლია ამ არქიტექტურაში ჩართვა და მუშაობა. იხილეთ [8], თუ როგორ უნდა ინტეგრირდეს ახალი სენსორის დრაივერი Linux SDK-ში.

გამოსახულების მილსადენის პროგრამული უზრუნველყოფის არქიტექტურა

AM6x Linux SDK უზრუნველყოფს GStreamer (GST) ჩარჩოს, რომლის გამოყენება შესაძლებელია სერიულ სივრცეში სხვადასხვა აპლიკაციებისთვის გამოსახულების დამუშავების კომპონენტების ინტეგრირებისთვის. SoC-ზე არსებული აპარატურის ამაჩქარებლები (HWA), როგორიცაა Vision Pre-processing Accelerator (VPAC) ან ISP, ვიდეოს კოდირება/დეკოდერი და ღრმა სწავლების გამოთვლითი ძრავა, ხელმისაწვდომია GST-ის მეშვეობით. pluginsVPAC-ს (ISP) თავად აქვს რამდენიმე ბლოკი, მათ შორის მხედველობის ვიზუალიზაციის ქვესისტემა (VISS), ლინზის დამახინჯების კორექცია (LDC) და მულტისკალარული (MSC), რომელთაგან თითოეული შეესაბამება GST დანამატს.

სურათი 3-2 გვიჩვენებს კამერიდან კოდირებამდე ან ღრმა სიგნალის გადაცემის ტიპიური მილსადენის ბლოკ-დიაგრამას.
AM62A-ზე სასწავლო აპლიკაციები. მონაცემთა ნაკადის შესახებ დამატებითი ინფორმაციისთვის იხილეთ EdgeAI SDK დოკუმენტაცია.

AM62P-სთვის გამოსახულების გენერაცია უფრო მარტივია, რადგან AM62P-ზე ინტერნეტ პროვაიდერი არ არის.

თითოეული კამერისთვის შექმნილი ვიდეო კვანძის წყალობით, GStreamer-ზე დაფუძნებული გამოსახულების გადაცემის სისტემა საშუალებას იძლევა ერთდროულად დამუშავდეს მრავალი კამერის შემავალი სიგნალი (რომლებიც დაკავშირებულია იმავე CSI-2 RX ინტერფეისით). შემდეგ თავში მოცემულია GStreamer-ის გამოყენებით მრავალკამერიანი აპლიკაციებისთვის განკუთვნილი საცნობარო დიზაინი.

საცნობარო დიზაინი

ეს თავი წარმოადგენს AM62A EVM-ზე მრავალკამერიანი აპლიკაციების გაშვების საცნობარო დიზაინს, Arducam V3Link კამერის გადაწყვეტის ნაკრების გამოყენებით 4 CSI-2 კამერის AM62A-სთან დასაკავშირებლად და ოთხივე კამერისთვის ობიექტის ამოცნობის ფუნქციის გასაშვებად.

მხარდაჭერილი კამერები
Arducam V3Link კომპლექტი მუშაობს როგორც FPD-Link/V3-Link-ზე დაფუძნებულ კამერებთან, ასევე Raspberry Pi-თან თავსებად CSI-2 კამერებთან. ტესტირებულია შემდეგი კამერები:

D3 ინჟინერია D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219 კამერები Arducam V3Link კამერის გადაწყვეტის ნაკრებში

ოთხი IMX219 კამერის დაყენება
კამერების V62Link კომპლექტის მეშვეობით AM62A SK-თან დასაკავშირებლად, SK-AM62A-LP EVM (AM3A SK)-ისა და ArduCam V62Link კამერის გადაწყვეტის სწრაფი დაწყების სახელმძღვანელოში მოცემული ინსტრუქციების შესაბამისად, მიჰყევით AM3A Starter Kit EVM-ის სწრაფი დაწყების სახელმძღვანელოში მოცემულ ინსტრუქციებს. დარწმუნდით, რომ მოქნილი კაბელების, კამერების, V3Link დაფის და AM62A SK-ის ქინძისთავები სწორად არის გასწორებული.

სურათი 4-1 გვიჩვენებს ამ ანგარიშში საცნობარო დიზაინისთვის გამოყენებულ კონფიგურაციას. კონფიგურაციის ძირითადი კომპონენტებია:

1X SK-AM62A-LP EVM დაფა
1X Arducam V3Link d-ch ადაპტერის დაფა
FPC კაბელი, რომელიც აკავშირებს Arducam V3Link-ს SK-AM62A-სთან,

4X V3Link კამერის ადაპტერები (სერიალიზატორები)
4X RF კოაქსიალური კაბელები V3Link სერიალიზატორების V3Link d-ch ნაკრებთან დასაკავშირებლად
4X IMX219 კამერები

4X CSI-2 22-პინიანი კაბელი კამერების სერიალიზატორებთან დასაკავშირებლად
კაბელები: HDMI კაბელი, USB-C SK-AM62A-LP-ის კვებისათვის და 12 ვოლტიანი კვება V3Link d-ch ნაკრებისთვის)
სხვა კომპონენტები, რომლებიც არ არის ნაჩვენები ნახაზ 4-1-ში: მიკრო-SD ბარათი, მიკრო-USB კაბელი SK-AM62A-LP-ზე წვდომისთვის და Ethernet სტრიმინგისთვის.

კამერების და CSI-2 RX ინტერფეისის კონფიგურაცია
დააყენეთ პროგრამული უზრუნველყოფა Arducam V3Link-ის სწრაფი დაწყების სახელმძღვანელოში მოცემული ინსტრუქციის შესაბამისად. კამერის დაყენების სკრიპტის გაშვების შემდეგ, setup-imx219.sh, კამერის ფორმატი, CSI-2 RX ინტერფეისის ფორმატი და თითოეული კამერიდან შესაბამის ვიდეო კვანძამდე მარშრუტები სწორად იქნება კონფიგურირებული. ოთხი IMX219 კამერისთვის იქმნება ოთხი ვიდეო კვანძი. ბრძანება „v4l2-ctl –list-devices“ აჩვენებს ყველა V4L2 ვიდეო მოწყობილობას, როგორც ეს ქვემოთ არის ნაჩვენები:

tiscsi6rx-ის ქვეშ არის 1 ვიდეო კვანძი და 2 მედია კვანძი. თითოეული ვიდეო კვანძი შეესაბამება CSI2 RX დრაივერის მიერ გამოყოფილ DMA კონტექსტს. 6 ვიდეო კვანძიდან 4 გამოიყენება 4 IMX219 კამერისთვის, როგორც ეს ნაჩვენებია ქვემოთ მოცემულ მედია მილის ტოპოლოგიაში:

როგორც ზემოთ არის ნაჩვენები, მედია ერთეულს 30102000.ticsi2rx აქვს 6 წყაროს პანელი, მაგრამ მხოლოდ პირველი 4 გამოიყენება, თითოეული ერთი IMX219-ისთვის. მედია მილის ტოპოლოგია ასევე შეიძლება გრაფიკულად იყოს ილუსტრირებული. წერტილის გენერირებისთვის შეასრულეთ შემდეგი ბრძანება file:

შემდეგ გაუშვით ქვემოთ მოცემული ბრძანება Linux-ის მასპინძელ კომპიუტერზე PNG-ის გენერირებისთვის. file:

სურათი 4-2 წარმოადგენს ზემოთ მოცემული ბრძანებების გამოყენებით გენერირებულ სურათს. სურათი 3-1-ზე მოცემული პროგრამული არქიტექტურის კომპონენტები შეგიძლიათ იხილოთ ამ გრაფიკზე.

სტრიმინგი ოთხი კამერიდან
აპარატურის და პროგრამული უზრუნველყოფის სწორად დაყენების შემთხვევაში, მომხმარებლის სივრციდან შესაძლებელია მრავალი კამერის აპლიკაციის გაშვება. AM62A-სთვის, კარგი ხარისხის გამოსახულების მისაღებად, ISP უნდა იყოს დაკონფიგურირებული. ISP-ის რეგულირების შესრულების შესახებ ინფორმაციისთვის იხილეთ AM6xA ISP-ის რეგულირების სახელმძღვანელო. შემდეგ ნაწილებში წარმოდგენილია მაგალითები.ampკამერის მონაცემების მცირე რაოდენობის ეკრანზე გადატანა, კამერის მონაცემების ქსელში გადატანა და კამერის მონაცემების შენახვა files.

კამერის მონაცემების სტრიმინგი საჩვენებლად
ამ მრავალკამერიანი სისტემის ძირითადი გამოყენებაა ვიდეოების ყველა კამერიდან ერთსა და იმავე SoC-თან დაკავშირებულ ეკრანზე გადატანა. ქვემოთ მოცემულია GStreamer-ის მილსადენი, რომელიც...ampოთხი IMX219-ის დისპლეიზე სტრიმინგის ლიმიტის (ვიდეო კვანძის და v4l-subdev ნომრები, სავარაუდოდ, გადატვირთვის შემდეგ გადატვირთვის შემდეგ შეიცვლება).

კამერის მონაცემების სტრიმინგი Ethernet-ის საშუალებით
იმავე SoC-თან დაკავშირებულ დისპლეიზე სტრიმინგის ნაცვლად, კამერის მონაცემების სტრიმინგი შესაძლებელია Ethernet-ის საშუალებითაც. მიმღები მხარე შეიძლება იყოს სხვა AM62A/AM62P პროცესორი ან მასპინძელი კომპიუტერი. ქვემოთ მოცემულია მაგალითი.ampკამერის მონაცემების Ethernet-ის მეშვეობით სტრიმინგის მეთოდი (გამარტივებისთვის ორი კამერის გამოყენებით) (ყურადღება მიაქციეთ პროცესში გამოყენებულ ენკოდერის დანამატს):

შემდეგი არის ყოფილიampკამერის მონაცემების მიღებისა და სხვა AM62A/AM62P პროცესორზე არსებულ ეკრანზე გადატანის პროცესი:

კამერის მონაცემების შენახვა Files
ეკრანზე ან ქსელში სტრიმინგის ნაცვლად, კამერის მონაცემები შეიძლება ლოკალურად შეინახოს. fileქვემოთ მოცემული მილსადენი თითოეული კამერის მონაცემებს ინახავს file (ორი კამერის გამოყენებით, როგორც ყოფილიampლე სიმარტივისთვის).

მრავალკამერიანი ღრმა სწავლების დასკვნა

AM62A აღჭურვილია ღრმა სწავლების ამაჩქარებლით (C7x-MMA) ორ TOPS-მდე, რომლებსაც შეუძლიათ სხვადასხვა ტიპის ღრმა სწავლების მოდელების გაშვება კლასიფიკაციის, ობიექტების აღმოჩენის, სემანტიკური სეგმენტაციის და სხვა მიზნებისთვის. ეს განყოფილება აჩვენებს, თუ როგორ შეუძლია AM62A-ს ერთდროულად ოთხი ღრმა სწავლების მოდელის გაშვება ოთხ სხვადასხვა კამერის არხზე.

მოდელის შერჩევა
TI-ის EdgeAI-ModelZoo გთავაზობთ ასობით ულტრათანამედროვე მოდელს, რომლებიც გარდაიქმნება/ექსპორტდება მათი ორიგინალური სასწავლო ჩარჩოებიდან ჩაშენებულ-მოსახერხებელ ფორმატში, რათა მათი გადმოტვირთვა შესაძლებელი იყოს C7x-MMA ღრმა სწავლების ამაჩქარებელში. ღრუბელზე დაფუძნებული Edge AI Studio-ს მოდელის ანალიზატორი გთავაზობთ მარტივად გამოსაყენებელ „მოდელის შერჩევის“ ინსტრუმენტს. ის დინამიურად განახლდება, რათა მოიცვას TI EdgeAI-ModelZoo-ში მხარდაჭერილი ყველა მოდელი. ინსტრუმენტი არ საჭიროებს წინა გამოცდილებას და უზრუნველყოფს მარტივად გამოსაყენებელ ინტერფეისს სასურველ მოდელში საჭირო ფუნქციების შესაყვანად.

ამ მრავალკამერიანი ღრმა სწავლების ექსპერიმენტისთვის შეირჩა TFL-OD-2000-ssd-mobV1-coco-mlperf. ეს მრავალობიექტიანი აღმოჩენის მოდელი შემუშავებულია TensorFlow ჩარჩოში 300×300 შეყვანის გარჩევადობით. ცხრილი 4-1 აჩვენებს ამ მოდელის მნიშვნელოვან მახასიათებლებს, როდესაც ის cCOCO მონაცემთა ნაკრებზეა მომზადებული დაახლოებით 80 სხვადასხვა კლასით.

ცხრილი 4-1. მოდელის TFL-OD-2000-ssd-mobV1-coco-mlperf-ის ძირითადი მახასიათებლები.

მოდელი	დავალება	რეზოლუცია	FPS	mAP 50% სიზუსტე COCO-ზე	შეყოვნება/კადრი (მწმ)	DDR BW გამოყენება (მბ/კადრი)
TFL-OD-2000-ssd- mobV1-coco-mlperf	მრავალი ობიექტის აღმოჩენა	300×300	~ 152	15.9	6.5	18.839

მილსადენის დაყენება
სურათი 4-3 გვიჩვენებს 4 კამერიანი ღრმა სწავლების GStreamer-ის პროცესორს. TI გთავაზობთ GStreamer-ის კომპლექტს. plugins რაც საშუალებას იძლევა, მედია დამუშავებისა და ღრმა სწავლების დასკვნების ნაწილი აპარატურულ ამაჩქარებლებზე გადავიდეს. ზოგიერთი მაგ.ampამათგან plugins მოიცავს tiovxisp-ს, tiovxmultiscaler-ს, tiovxmosaic-ს და tidlinferer-ს. სურათ 4-3-ში მოცემული მილსადენი მოიცავს ყველა საჭირო plugins მრავალმხრივი GStreamer მილსადენისთვის 4 კამერიანი შეყვანისთვის, თითოეული მედია წინასწარი დამუშავებით, ღრმა სწავლების ინფერენციით და პოსტდამუშავებით. დუბლირებული plugins თითოეული კამერის ტრაექტორია გრაფიკზე დაწყობილია დემონსტრაციის გასამარტივებლად.
ხელმისაწვდომი აპარატურული რესურსები თანაბრად არის განაწილებული კამერის ოთხ გზას შორის. მაგალითად, AM62A შეიცავს ორ გამოსახულების მულტისკალერს: MSC0 და MSC1. მილსადენი პირდაპირ გამოყოფს MSC0-ს კამერა 1-ის და კამერა 2-ის გზების დასამუშავებლად, ხოლო MSC1 გამოყოფილია კამერა 3-ისა და კამერა 4-ისთვის.

ოთხი კამერის მილსადენის გამომავალი მონაცემები შემცირებულია და ერთმანეთთან გაერთიანებულია tiovxmosaic დანამატის გამოყენებით. გამომავალი ნაჩვენებია ერთ ეკრანზე. სურათი 4-4 გვიჩვენებს ოთხი კამერის გამომავალ მონაცემებს ღრმა სწავლების მოდელით, რომელიც ახორციელებს ობიექტის ამოცნობას. თითოეული მილსადენი (კამერა) მუშაობს 30 FPS სიჩქარით და სულ 120 FPS-ით.

შემდეგ მოცემულია მრავალკამერიანი ღრმა სწავლების გამოყენების შემთხვევის სრული სკრიპტი, რომელიც ნაჩვენებია ნახაზ 4-3-ში.

შესრულების ანალიზი

V3Link დაფისა და AM62A SK-ის გამოყენებით ოთხი კამერით აღჭურვილი სისტემა გამოცდილი იქნა სხვადასხვა აპლიკაციის სცენარში, მათ შორის ეკრანზე პირდაპირ ჩვენება, Ethernet-ის საშუალებით სტრიმინგი (ოთხი UDP არხი) და 4 ცალკეულ არხზე ჩაწერა. files და ღრმა სწავლების დასკვნით. თითოეულ ექსპერიმენტში ჩვენ ვაკვირდებოდით კადრების სიხშირეს და CPU ბირთვების გამოყენებას, რათა შეგვესწავლა მთელი სისტემის შესაძლებლობები.

როგორც ადრე იყო ნაჩვენები სურათ 4-4-ში, ღრმა სწავლების მილსადენი იყენებს tiperfoverlay GStreamer დანამატს, რათა CPU-ს ბირთვის დატვირთვა ეკრანის ქვედა ნაწილში სვეტოვანი დიაგრამის სახით აჩვენოს. ნაგულისხმევად, გრაფიკი განახლდება ყოველ ორ წამში, რათა დატვირთვები გამოყენების პროცენტულად აჩვენოს.tagე. tiperfoverlay GStreamer დანამატის გარდა, perf_stats ინსტრუმენტი წარმოადგენს მეორე ვარიანტს, რომელიც ტერმინალზე პირდაპირ აჩვენებს ბირთვის მუშაობას, შენახვის ვარიანტით. fileეს ინსტრუმენტი უფრო ზუსტია tTiperfoverlay-თან შედარებით, რადგან ეს უკანასკნელი დამატებით დატვირთვას უმატებს ARMm ბირთვებსა და DDR-ს გრაფიკის დასახატად და ეკრანზე გამოსატანად. perf_stats ინსტრუმენტი ძირითადად გამოიყენება აპარატურის გამოყენების შედეგების შესაგროვებლად ამ დოკუმენტში ნაჩვენებ ყველა სატესტო შემთხვევაში. ამ ტესტებში შესწავლილი ზოგიერთი მნიშვნელოვანი დამუშავების ბირთვი და ამაჩქარებელი მოიცავს მთავარ პროცესორებს (ოთხი A53 Arm ბირთვი @ 1.25GHz), ღრმა სწავლების ამაჩქარებელს (C7x-MMA @ 850MHz), VPAC (ISP) VISS-ით და მულტისკალერებით (MSC0 და MSC1) და DDR ოპერაციებს.

ცხრილი 5-1 აჩვენებს მუშაობას და რესურსების გამოყენებას AM62A-ს გამოყენებისას ოთხი კამერით სამი გამოყენების შემთხვევისთვის, მათ შორის ოთხი კამერის სტრიმინგი ეკრანზე, სტრიმინგი Ethernet-ის საშუალებით და ჩაწერა ოთხ ცალკეულ კამერაზე. fileს. თითოეულ შემთხვევაში ორი ტესტი ხორციელდება: მხოლოდ კამერით და ღრმა სწავლების დასკვნით. გარდა ამისა, ცხრილი 5-1-ის პირველი რიგი აჩვენებს აპარატურის გამოყენებას, როდესაც AM62A-ზე მხოლოდ ოპერაციული სისტემა მუშაობდა მომხმარებლის აპლიკაციების გარეშე. ეს გამოიყენება საბაზისო მაჩვენებლად სხვა სატესტო შემთხვევების აპარატურის გამოყენების შეფასებისას. როგორც ცხრილშია ნაჩვენები, ღრმა სწავლებისა და ეკრანის ჩვენების მქონე ოთხი კამერა მუშაობდა 30 FPS-ზე თითოეული, ოთხი კამერისთვის სულ 120 FPS. ეს მაღალი კადრების სიხშირე მიიღწევა ღრმა სწავლების ამაჩქარებლის (C86x-MMA) სრული სიმძლავრის მხოლოდ 7%-ით. გარდა ამისა, მნიშვნელოვანია აღინიშნოს, რომ ამ ექსპერიმენტებში ღრმა სწავლების ამაჩქარებელი დაყენებული იყო 850 MHz-ზე 1000 MHz-ის ნაცვლად, რაც მისი მაქსიმალური მუშაობის დაახლოებით 85%-ს შეადგენს.

ცხრილი 5-1. AM62A-ს მუშაობა (FPS) და რესურსების გამოყენება 4 IMX219 კამერასთან ერთად გამოყენებისას ეკრანის ჩვენების, Ethernet ნაკადის და ჩაწერისთვის. Files და ღრმა სწავლების ინფერენციის შესრულება

აპლიკაცია n	მილსადენი (ოპერაცია) )	გამომავალი	FPS საშუალო მილსადენი s	FPS სულ	A53s მიკროპროცესორები @ 1.25 გჰც [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR გზა [მბ/წმ]	DDR Wr [მბ/წმ]	DDR სულ [მბ/წმ]
აპლიკაცია არ არის	საბაზისო ოპერაცია არ არის	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
კამერა მხოლოდ	ნაკადი ეკრანზე	ეკრანი	30	120	12	12	0	70	61	60	1015	757	1782
	Ethernet-ის საშუალებით სტრიმინგი	UDP: 4 პორტები 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	ჩანაწერი რომ files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
კამერა ღრმა სწავლებით	ღრმა სწავლა: ობიექტების აღმოჩენა MobV1-coco	ეკრანი	30	120	38	25	86	71	85	82	2926	1676	4602
	ღრმა სწავლება: ობიექტების აღმოჩენა MobV1-coco და Stream over Ethernet	UDP: 4 პორტები 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	ღრმა სწავლება: ობიექტების აღმოჩენა MobV1- კოკო და ჩაწერა files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

რეზიუმე
ეს აპლიკაციის ანგარიში აღწერს, თუ როგორ უნდა განხორციელდეს მრავალკამერიანი აპლიკაციები AM6x მოწყობილობების ოჯახზე. ანგარიშში მოცემულია Arducam-ის V3Link კამერის გადაწყვეტილებების კომპლექტსა და AM62A SK EVM-ზე დაფუძნებული საცნობარო დიზაინი, სადაც რამდენიმე კამერის აპლიკაცია იყენებს ოთხ IMX219 კამერას, როგორიცაა ნაკადის და ობიექტის ამოცნობის სისტემები. მომხმარებლებს ვურჩევთ, შეიძინონ V3Link კამერის გადაწყვეტილებების ნაკრები Arducam-ისგან და გაიმეორონ ეს მაგალითები.ampლეს. ანგარიში ასევე იძლევა AM62A-ს მუშაობის დეტალურ ანალიზს ოთხი კამერის სხვადასხვა კონფიგურაციით გამოყენებისას, მათ შორის ეკრანზე ჩვენების, Ethernet-ის საშუალებით სტრიმინგის და ჩაწერის დროს. fileს. ის ასევე აჩვენებს AM62A-ს შესაძლებლობას, პარალელურად ჩაატაროს ღრმა სწავლების ინფერენცია ოთხ ცალკეულ კამერის ნაკადზე. თუ არსებობს რაიმე შეკითხვები ამ მაგალითების გაშვებასთან დაკავშირებითampლეს, წარადგინეთ მოთხოვნა TI E2E ფორუმზე.

ცნობები

AM62A სასტარტო ნაკრები EVM-ის სწრაფი დაწყების სახელმძღვანელო

ArduCam V3Link კამერის გადაწყვეტის სწრაფი დაწყების სახელმძღვანელო
Edge AI SDK დოკუმენტაცია AM62A-სთვის
Edge AI ჭკვიანი კამერები ენერგოეფექტური AM62A პროცესორის გამოყენებით

კამერის სარკის სისტემები AM62A-ზე
მძღოლისა და დაკავებულობის მონიტორინგის სისტემები AM62A-ზე
ოთხარხიანი კამერის აპლიკაცია Surround-ისთვის View და CMS კამერის სისტემები

AM62Ax Linux აკადემია CIS-2 სენსორის ჩართვაზე
Edge AI ModelZoo
Edge AI Studio

Perf_stats ინსტრუმენტი

ამ განაცხადის შენიშვნაში მითითებული TI ნაწილები:

https://www.ti.com/product/AM62A7

მნიშვნელოვანი შენიშვნა და პასუხისმგებლობის უარყოფა

TI აწვდის ტექნიკურ და სანდოობის მონაცემებს (მონაცემთა ფურცლების ჩათვლით), დიზაინის რესურსებს (რეფერენციული დიზაინის ჩათვლით), განაცხადის ან დიზაინის სხვა რჩევებს, WEB ხელსაწყოები, უსაფრთხოების ინფორმაცია და სხვა რესურსები „როგორც არის“ და ყველა ხარვეზით და უარს ამბობს ყველა გარანტიაზე, გამოხატულ და ნაგულისხმევ გარანტიაზე, მათ შორის, ყოველგვარი შეზღუდვის გარეშე. .

ეს რესურსები განკუთვნილია გამოცდილი დეველოპერებისთვის, რომლებიც აპროექტებენ TI პროდუქტებს. მხოლოდ თქვენ ხართ პასუხისმგებელი

თქვენი განაცხადისთვის შესაბამისი TI პროდუქტების შერჩევა,

თქვენი განაცხადის შემუშავება, დადასტურება და ტესტირება და
იმის უზრუნველყოფა, რომ თქვენი განაცხადი აკმაყოფილებდეს შესაბამის სტანდარტებს და ნებისმიერ სხვა უსაფრთხოების, დაცვის, მარეგულირებელ ან სხვა მოთხოვნებს.

ეს რესურსები შეიძლება შეიცვალოს წინასწარი შეტყობინების გარეშე. TI გაძლევთ ამ რესურსების გამოყენების უფლებას მხოლოდ ისეთი აპლიკაციის შემუშავებისთვის, რომელიც იყენებს რესურსში აღწერილ TI პროდუქტებს. ამ რესურსების სხვაგვარად რეპროდუცირება და ჩვენება აკრძალულია. TI-ს სხვა ინტელექტუალური საკუთრების უფლებაზე ან მესამე მხარის ინტელექტუალური საკუთრების უფლებაზე ლიცენზია არ გაიცემა. TI უარყოფს პასუხისმგებლობას და თქვენ სრულად აანაზღაურებთ TI-ს და მის წარმომადგენლებს ნებისმიერი პრეტენზიის, ზიანის, ხარჯის, დანაკარგისა და ვალდებულებისგან, რომელიც წარმოიშობა ამ რესურსების თქვენი მიერ გამოყენების შედეგად.

TI-ს პროდუქცია მოწოდებულია TI-ს გაყიდვის პირობების ან სხვა მოქმედი პირობების შესაბამისად, რომლებიც ხელმისაწვდომია ან აქ ti.com ან მოწოდებულია ასეთ TI პროდუქტებთან ერთად. TI-ის მიერ ამ რესურსებით უზრუნველყოფა არ აფართოებს ან სხვაგვარად ცვლის TI-ის მოქმედ გარანტიებს ან გარანტიის უარყოფას TI პროდუქტებისთვის.

TI აპროტესტებს და უარყოფს თქვენს მიერ შემოთავაზებულ ნებისმიერ დამატებით ან განსხვავებულ პირობებს.

მნიშვნელოვანი შენიშვნა

საფოსტო მისამართი: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

ხშირად დასმული კითხვები

კითხვა: შემიძლია გამოვიყენო ნებისმიერი ტიპის კამერა AM6x მოწყობილობების ოჯახთან ერთად?

AM6x ოჯახი მხარს უჭერს სხვადასხვა ტიპის კამერებს, მათ შორის ჩაშენებული ISP-ით ან მის გარეშე. მხარდაჭერილი კამერების ტიპების შესახებ დამატებითი ინფორმაციისთვის იხილეთ სპეციფიკაციები.

რა არის ძირითადი განსხვავებები AM62A-სა და AM62P-ს შორის გამოსახულების დამუშავების კუთხით?

ძირითადი ვარიაციები მოიცავს მხარდაჭერილ კამერის ტიპებს, კამერის გამომავალ მონაცემებს, ISP HWA-ს, ღრმა სწავლების HWA-ს და 3-D გრაფიკის HWA-ს არსებობას. დეტალური შედარებისთვის იხილეთ სპეციფიკაციების განყოფილება.

დოკუმენტები / რესურსები

Texas Instruments AM6x მრავალჯერადი კამერის შემუშავებას იწყებს [pdf] მომხმარებლის სახელმძღვანელო
AM62A, AM62P, AM6x მრავალკამერიანი განვითარება, AM6x, მრავალკამერიანი განვითარება, მრავალკამერიანი, კამერა

ცნობები

მომხმარებლის სახელმძღვანელო

Texas Instruments AM6x რამდენიმე კამერას ავითარებს

სპეციფიკაციები