„Texas Instruments AM6x“ kelių kamerų vartotojo vadovas

Apsaugos stebėjimas: Pagerina stebėjimo aprėptį, objektų sekimą ir atpažinimo tikslumą.
Aplink View: Įgalina stereoskopinį matymą tokioms užduotims kaip kliūčių aptikimas ir objektų manipuliavimas.

Salono įrašymo įrenginys ir kamerų veidrodėlių sistema: Užtikrina platesnį aprėpties plotą ir pašalina akląsias zonas.
Medicininis vaizdavimas: Užtikrina didesnį tikslumą chirurginėje navigacijoje ir endoskopijoje.

Dronai ir aerofotografavimas: Įvairioms reikmėms fiksuokite didelės raiškos vaizdus iš skirtingų kampų.

Kelių CSI-2 kamerų prijungimas prie SoC:
Norėdami prie sistemos procesoriaus (SoC) prijungti kelias CSI-2 kameras, vadovaukitės naudotojo vadove pateiktomis gairėmis. Įsitikinkite, kad kiekviena kamera tinkamai sulygiuota ir prijungta prie numatytų sistemos procesoriaus prievadų.

Taikymo pastaba
Kelių kamerų programų kūrimas AM6x sistemoje

Jianzhong Xu, Kutaiba Salehas

SANTRAUKA
Šioje ataskaitoje aprašomas programų kūrimas naudojant kelias CSI-2 kameras AM6x šeimos įrenginiuose. Pateikiamas objektų aptikimo su giliuoju mokymusi, naudojant 4 kameras AM62A SoC, pavyzdinis projektas su našumo analize. Bendrieji projektavimo principai taikomi ir kitiems SoC su CSI-2 sąsaja, pvz., AM62x ir AM62P.

Įvadas

Įmontuotos kameros atlieka svarbų vaidmenį šiuolaikinėse vaizdo sistemose. Naudojant kelias kameras sistemoje, išplečiamos šių sistemų galimybės ir suteikiamos galimybės, kurios neįmanomos naudojant vieną kamerą. Žemiau pateikiami keli pavyzdžiai.ampprogramų, naudojančių kelias įterptąsias kameras, įvairovė:

Apsaugos stebėjimas: kelios strategiškai išdėstytos kameros užtikrina visapusišką stebėjimo aprėptį. Jos leidžia gauti panoraminį vaizdą. viewsumažinti akląsias zonas ir padidinti objektų sekimo bei atpažinimo tikslumą, taip pagerinant bendras saugumo priemones.
Aplink ViewKelios kameros naudojamos stereoskopinio matymo sistemai sukurti, leidžiančiai gauti trimatę informaciją ir įvertinti gylį. Tai labai svarbu atliekant tokias užduotis kaip kliūčių aptikimas autonominėse transporto priemonėse, tikslus objektų manipuliavimas robotikoje ir padidintas papildytosios realybės patirčių realizmas.

Salono įrašymo įrenginys ir kamerų veidrodėlių sistema: automobilio salono įrašymo įrenginys su keliomis kameromis gali aprėpti platesnę aprėptį naudodamas vieną procesorių. Panašiai kamerų veidrodėlių sistema su dviem ar daugiau kamerų gali išplėsti vairuotojo stebėjimo lauką. view ir pašalinti akląsias zonas iš visų automobilio pusių.
Medicininis vaizdavimas: medicininiame vaizdavime tokioms užduotims kaip chirurginė navigacija gali būti naudojamos kelios kameros, suteikiančios chirurgams kelias perspektyvas ir didesnį tikslumą. Endoskopijoje kelios kameros leidžia nuodugniai ištirti vidaus organus.

Dronai ir aerofotografavimas: Dronai dažnai būna aprūpinti keliomis kameromis, kad būtų galima fiksuoti didelės raiškos vaizdus ar vaizdo įrašus iš skirtingų kampų. Tai naudinga tokiose srityse kaip aerofotografija, žemės ūkio stebėsena ir žemėtvarka.
Tobulėjant mikroprocesoriams, į vieną sistemą viename luste galima integruoti kelias kameras.
(SoC), siekiant užtikrinti kompaktiškus ir efektyvius sprendimus. AM62Ax SoC su didelio našumo vaizdo / vaizdo apdorojimu ir gilaus mokymosi spartinimu yra idealus įrenginys aukščiau paminėtiems naudojimo atvejams. Kitas AM6x įrenginys, AM62P, yra sukurtas didelio našumo įterptųjų 3D ekranų programoms. AM3P su 62D grafikos spartinimu gali lengvai sujungti vaizdus iš kelių kamerų ir sukurti didelės raiškos panoraminį vaizdą. viewNovatoriškos AM62A/AM62P SoC savybės buvo pristatytos įvairiuose leidiniuose, tokiuose kaip [4], [5], [6] ir kt. Šiame taikymo aprašyme šios savybės nebus kartojamos, o daugiausia dėmesio skiriama kelių CSI-2 kamerų integravimui į įterptąsias vaizdo programas AM62A/AM62P procesoriuose.

1-1 lentelėje pateikti pagrindiniai AM62A ir AM62P skirtumai, susiję su vaizdo apdorojimu.

1-1 lentelė. AM62A ir AM62P skirtumai vaizdų apdorojime

SoC	AM62A	AM62P
Palaikomas kameros tipas	Su integruotu interneto paslaugų teikėju arba be jo	Su integruotu interneto paslaugų teikėju
Kameros išvesties duomenys	Neapdorotas/YUV/RGB	YUV/RGB
Interneto paslaugų teikėjo HWA	Taip	Nr
Giluminio mokymosi HWA	Taip	Nr
3D grafikos HWA	Nr	Taip

Kelių CSI-2 kamerų prijungimas prie SoC
AM6x SoC kameros posistemį sudaro šie komponentai, kaip parodyta 2-1 paveiksle:

MIPI D-PHY imtuvas: priima vaizdo srautus iš išorinių kamerų, palaikydamas iki 1.5 Gbps kiekvienai duomenų juostai 4 juostomis.

CSI-2 imtuvas (RX): priima vaizdo srautus iš D-PHY imtuvo ir siunčia srautus tiesiai interneto paslaugų teikėjui arba nuskaito duomenis į DDR atmintį. Šis modulis palaiko iki 16 virtualių kanalų.
SHIM: DMA apvalkalas, leidžiantis siųsti užfiksuotus srautus į atmintį per DMA. Šis apvalkalas gali sukurti kelis DMA kontekstus, kurių kiekvienas atitinka CSI-2 imtuvo virtualų kanalą.

AM6x gali palaikyti kelias kameras naudojant virtualius CSI-2 RX kanalus, net jei SoC yra tik viena CSI-2 RX sąsaja. Norint sujungti kelis kamerų srautus ir siųsti juos į vieną SoC, reikalingas išorinis CSI-2 agregavimo komponentas. Galima naudoti dviejų tipų CSI-2 agregavimo sprendimus, aprašytus tolesniuose skyriuose.

CSI-2 agregatorius naudojant SerDes
Vienas iš būdų sujungti kelis kamerų srautus yra naudoti serializavimo ir deserializavimo (SerDes) sprendimą. Kiekvienos kameros CSI-2 duomenys konvertuojami serializatoriumi ir perduodami kabeliu. Deserializatorius gauna visus iš kabelių (po vieną kabelį kiekvienai kamerai) perduotus serializuotus duomenis, konvertuoja srautus atgal į CSI-2 duomenis ir tada siunčia įterptą CSI-2 srautą į vieną CSI-2 RX sąsają SoC. Kiekvienas kameros srautas identifikuojamas unikaliu virtualiu kanalu. Šis agregavimo sprendimas suteikia papildomą pranašumą – leidžia jungtis nuo kamerų iki SoC iki 15 m atstumu.

FPD-Link arba V3-Link serializatoriai ir deserializatoriai (SerDes), palaikomi AM6x Linux SDK, yra populiariausios šio tipo CSI-2 agregavimo sprendimo technologijos. Tiek FPD-Link, tiek V3-Link deserializatoriai turi atgalinius kanalus, kurie gali būti naudojami kadrų sinchronizavimo signalams siųsti, kad būtų sinchronizuoti visos kameros, kaip paaiškinta [7].
2-2 paveiksle pavaizduotas pvzampNaudojant „SerDes“ galima prijungti kelias kameras prie vieno AM6x SoC.

BuvęsampŠio agregavimo sprendimo pavyzdį galima rasti „Arducam V3Link“ kamerų sprendimų rinkinyje. Šiame rinkinyje yra deserializatoriaus šakotuvas, kuris sujungia 4 CSI-2 kamerų srautus, taip pat 4 poras „V3link“ serializatorių ir IMX219 kamerų, įskaitant FAKRA bendraašius kabelius ir 22 kontaktų FPC kabelius. Vėliau aptartas etaloninis dizainas sukurtas remiantis šiuo rinkiniu.

CSI-2 agregatorius nenaudojant SerDes
Šio tipo agregatorius gali tiesiogiai sąveikauti su keliomis MIPI CSI-2 kameromis ir apjungti visų kamerų duomenis į vieną CSI-2 išvesties srautą.

2-3 paveiksle pavaizduotas pvzamptokios sistemos. Šio tipo agregavimo sprendimas nenaudoja jokio serializatoriaus/deserializatoriaus, tačiau jį riboja maksimalus CSI-2 duomenų perdavimo atstumas, kuris yra iki 30 cm. AM6x Linux SDK nepalaiko šio tipo CSI-2 agregatoriaus.

Kelių kamerų įjungimas programinėje įrangoje

Kameros posistemio programinės įrangos architektūra
3 paveiksle parodyta aukšto lygio AM1A/AM62P Linux SDK kamerų fiksavimo sistemos programinės įrangos blokinė schema, atitinkanti 62 paveiksle pavaizduotą aparatinės įrangos sistemą.

Ši programinės įrangos architektūra leidžia SoC priimti kelis kamerų srautus naudojant „SerDes“, kaip parodyta 2-2 paveiksle. FPD-Link/V3-Link „SerDes“ kiekvienai kamerai priskiria unikalų I2C adresą ir virtualų kanalą. Kiekvienai kamerai turėtų būti sukurtas unikalus įrenginių medžio perdengimas su unikaliu I2C adresu. CSI-2 RX tvarkyklė atpažįsta kiekvieną kamerą pagal unikalų virtualaus kanalo numerį ir sukuria DMA kontekstą kiekvienam kameros srautui. Kiekvienam DMA kontekstui sukuriamas vaizdo mazgas. Tada duomenys iš kiekvienos kameros gaunami ir atitinkamai saugomi atmintyje naudojant DMA. Vartotojo erdvės programos naudoja kiekvienai kamerai atitinkamus vaizdo mazgus, kad pasiektų kameros duomenis. Pvz.ampŠios programinės įrangos architektūros naudojimo būdai pateikti 4 skyriuje – Etaloninis projektavimas.
Bet kuri konkreti jutiklio tvarkyklė, suderinama su V4L2 sistema, gali būti prijungta ir naudojama šioje architektūroje. Žr. [8], kaip integruoti naują jutiklio tvarkyklę į „Linux SDK“.

Vaizdų srauto programinės įrangos architektūra

„AM6x Linux SDK“ teikia „GStreamer“ (GST) sistemą, kurią galima naudoti serverių erdvėje, siekiant integruoti vaizdo apdorojimo komponentus įvairioms programoms. Prie „SoC“ esančių aparatinės įrangos greitintuvų (HWA), tokių kaip vaizdo išankstinio apdorojimo greitintuvas (VPAC) arba ISP, vaizdo kodavimo / dekodavimo įrenginys ir gilaus mokymosi skaičiavimo variklis, galima prisijungti per GST. pluginsPats VPAC (ISP) turi kelis blokus, įskaitant regėjimo vaizdavimo posistemį (VISS), objektyvo iškraipymo korekciją (LDC) ir daugiaskaliarinį (MSC), kurių kiekvienas atitinka GST papildinį.

3-2 paveiksle parodyta tipinio vaizdo perdavimo iš kameros į kodavimą arba giluminį atkūrimą blokinė schema.
mokymosi programos AM62A sistemoje. Daugiau informacijos apie ištisinį duomenų srautą rasite „EdgeAI SDK“ dokumentacijoje.

AM62P atveju vaizdų srautas yra paprastesnis, nes AM62P nėra interneto paslaugų teikėjo (IPT).

Sukūrus vaizdo mazgą kiekvienai kamerai, „GStreamer“ pagrindu sukurtas vaizdo srautas leidžia vienu metu apdoroti kelių kamerų įvestis (prijungtas per tą pačią CSI-2 RX sąsają). Kitame skyriuje pateiktas pavyzdinis „GStreamer“ naudojimas kelių kamerų taikymams.

Nuorodų dizainas

Šiame skyriuje pateikiamas kelių kamerų programų paleidimo AM62A EVM pavyzdinis projektas, naudojant „Arducam V3Link“ kamerų sprendimų rinkinį 4 CSI-2 kameroms prie AM62A prijungti ir objektų aptikimui visose 4 kamerose vykdyti.

Palaikomos kameros
„Arducam V3Link“ rinkinys veikia tiek su FPD-Link/V3-Link pagrindu sukurtomis kameromis, tiek su „Raspberry Pi“ suderinamomis CSI-2 kameromis. Buvo išbandytos šios kameros:

D3 inžinerija D3RCM-IMX390-953
„Leopard Imaging“ LI-OV2312-FPDLINKIII-110H

IMX219 kameros „Arducam V3Link“ kamerų sprendimų rinkinyje

Keturių IMX219 kamerų įrengimas
Vadovaukitės AM62A pradedančiųjų rinkinio EVM greito paleidimo vadove pateiktomis instrukcijomis, kad nustatytumėte SK-AM62A-LP EVM (AM62A SK) ir „ArduCam V3Link“ kamerų sprendimo greito paleidimo vadovą ir prijungtumėte kameras prie AM62A SK per V3Link rinkinį. Įsitikinkite, kad lanksčiųjų kabelių, kamerų, V3Link plokštės ir AM62A SK kontaktai yra tinkamai sulygiuoti.

4-1 paveiksle parodyta šioje ataskaitoje aprašyto etaloninio projekto konfigūracija. Pagrindiniai konfigūracijos komponentai:

1X SK-AM62A-LP EVM plokštė
1X „Arducam V3Link“ d-ch adapterio plokštė
FPC kabelis, jungiantis „Arducam V3Link“ su SK-AM62A

4X V3Link kamerų adapteriai (serializatoriai)
4x RF koaksialiniai kabeliai, skirti prijungti V3Link serializatorius prie V3Link d-ch rinkinio
4X IMX219 kameros

4X CSI-2 22 kontaktų kabeliai kameroms prijungti prie serializatorių
Laidai: HDMI laidas, USB-C SK-AM62A-LP maitinimui ir 12 V maitinimo šaltinis V3Link d-ch rinkiniui)
Kiti 4-1 paveiksle neparodyti komponentai: „micro-SD“ kortelė, „micro-USB“ laidas SK-AM62A-LP prieigai ir Ethernet srautiniam perdavimui

Kamerų ir CSI-2 RX sąsajos konfigūravimas
Nustatykite programinę įrangą pagal „Arducam V3Link“ greitojo paleidimo vadove pateiktas instrukcijas. Paleidus kameros sąrankos scenarijų „setup-imx219.sh“, bus tinkamai sukonfigūruotas kameros formatas, CSI-2 RX sąsajos formatas ir maršrutai iš kiekvienos kameros į atitinkamą vaizdo mazgą. Sukuriami keturi vaizdo mazgai keturioms IMX219 kameroms. Komanda „v4l2-ctl –list-devices“ rodo visus V4L2 vaizdo įrenginius, kaip parodyta toliau:

„tiscsi6rx“ sistemoje yra 1 vaizdo mazgai ir 2 medijos mazgas. Kiekvienas vaizdo mazgas atitinka CSI2 RX tvarkyklės priskirtą DMA kontekstą. Iš 6 vaizdo mazgų 4 naudojami 4 IMX219 kameroms, kaip parodyta toliau pateiktoje medijos kanalo topologijoje:

Kaip parodyta aukščiau, medijos objektas 30102000.ticsi2rx turi 6 šaltinio kontaktus, bet naudojami tik pirmieji 4, kiekvienas skirtas vienam IMX219. Medijos kanalo topologiją taip pat galima pavaizduoti grafiškai. Paleiskite šią komandą, kad sugeneruotumėte tašką file:

Tada paleiskite toliau pateiktą komandą „Linux“ pagrindiniame kompiuteryje, kad sugeneruotumėte PNG failą file:

4-2 paveiksle pateiktas paveikslėlis, sugeneruotas naudojant aukščiau pateiktas komandas. Šiame grafike pateikti 3-1 paveiksle pavaizduotos programinės įrangos architektūros komponentai.

Transliacija iš keturių kamerų
Tinkamai sukonfigūruojus ir aparatinę, ir programinę įrangą, vartotojo erdvėje galima paleisti kelių kamerų programas. AM62A atveju, norint gauti gerą vaizdo kokybę, reikia suderinti ISP. Informacijos apie ISP derinimą ieškokite AM6xA ISP derinimo vadove. Tolesniuose skyriuose pateikiami pavyzdžiai.ampkameros duomenų srautinio perdavimo į ekraną, kameros duomenų srautinio perdavimo į tinklą ir kameros duomenų saugojimo files.

Kameros duomenų srautinis perdavimas į ekraną
Pagrindinis šios kelių kamerų sistemos pritaikymas yra transliuoti vaizdo įrašus iš visų kamerų į ekraną, prijungtą prie to paties SoC. Toliau pateikiamas GStreamer srauto pavyzdys.ampketurių IMX219 transliacijų į ekraną pavyzdys (vaizdo mazgų numeriai ir v4l-subdev numeriai sraute greičiausiai keisis nuo vieno perkrovimo iki kito).

Kameros duomenų srautinis perdavimas per Ethernet
Užuot transliuojant į ekraną, prijungtą prie to paties SoC, kameros duomenys taip pat gali būti transliuojami per Ethernet. Priimantis asmuo gali būti kitas AM62A/AM62P procesorius arba pagrindinis kompiuteris. Toliau pateikiamas pavyzdys.ampKameros duomenų srautinio perdavimo per Ethernet pavyzdys (paprastumo dėlei naudojant dvi kameras) (atkreipkite dėmesį į sraute naudojamą kodavimo papildinį):

Toliau yra buvęsampKameros duomenų gavimo ir transliavimo į kito AM62A/AM62P procesoriaus ekraną pavyzdys:

Kameros duomenų saugojimas Files
Užuot transliuojant į ekraną ar per tinklą, kameros duomenis galima saugoti vietinėje atmintyje. files. Žemiau esantis srautas saugo kiekvienos kameros duomenis file (naudojant dvi kameras kaip buv.amp(paprastumo dėlei).

Daugiakamerinis gilaus mokymosi išvados

AM62A aprūpintas gilaus mokymosi greitintuvu (C7x-MMA) su iki dviejų TOPS, kurie gali vykdyti įvairių tipų gilaus mokymosi modelius, skirtus klasifikavimui, objektų aptikimui, semantiniam segmentavimui ir kt. Šiame skyriuje parodyta, kaip AM62A gali vienu metu vykdyti keturis gilaus mokymosi modelius keturiuose skirtinguose kamerų signaluose.

Modelio pasirinkimas
TI „EdgeAI-ModelZoo“ teikia šimtus pažangiausių modelių, kurie konvertuojami / eksportuojami iš originalių mokymo sistemų į įterptiesiems įrenginiams patogų formatą, kad juos būtų galima perkelti į gilaus mokymosi greitintuvą „C7x-MMA“. Debesijos pagrindu veikiantis „Edge AI Studio“ modelių analizatorius suteikia lengvai naudojamą „modelio pasirinkimo“ įrankį. Jis dinamiškai atnaujinamas, kad apimtų visus „TI EdgeAI-ModelZoo“ palaikomus modelius. Įrankiui nereikia jokios ankstesnės patirties ir jis suteikia lengvai naudojamą sąsają, skirtą įvesti norimo modelio funkcijas.

Šiam daugiakameriniam gilaus mokymosi eksperimentui buvo pasirinktas TFL-OD-2000-ssd-mobV1-coco-mlperf. Šis daugiaobjektis aptikimo modelis sukurtas naudojant „TensorFlow“ sistemą su 300 × 300 įvesties skiriamąja geba. 4-1 lentelėje pateikiamos svarbiausios šio modelio savybės, apmokytos naudojant cCOCO duomenų rinkinį su maždaug 80 skirtingų klasių.

4-1 lentelė. Svarbiausios TFL-OD-2000-ssd-mobV1-coco-mlperf modelio savybės.

Modelis	Užduotis	Rezoliucija	FPS	mAP 50% Tikslumas naudojant COCO	Vėlavimas/kadras (ms)	DDR BW Naudojimas (MB/kadras)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Kelių objektų aptikimas	300×300	~152	15.9	6.5	18.839

Vamzdynų sąranka
4-3 paveiksle parodytas 4 kamerų gilaus mokymosi „GStreamer“ kanalas. TI teikia „GStreamer“ rinkinį. plugins kurie leidžia dalį medijos apdorojimo ir gilaus mokymosi išvadų perkelti į aparatinės įrangos greitintuvus. Kai kurie pavyzdiaiampmažiau tokių plugins apima „tiovxisp“, „tiovxmultiscaler“, „tiovxmosaic“ ir „tidlinferer“. 4-3 paveiksle pavaizduotas srautas apima visus reikalingus plugins daugiakanaliam „GStreamer“ kanalui, skirtam 4 kamerų įvestims, kurių kiekviena turi medijos išankstinį apdorojimą, gilaus mokymosi išvadas ir postapdorojimą. Dubliuotas plugins Kiekvieno kameros kelio duomenys grafike yra sudėlioti vienas po kito, kad būtų lengviau juos demonstruoti.
Turimi aparatinės įrangos ištekliai yra tolygiai paskirstyti keturiems kamerų keliams. Pavyzdžiui, AM62A turi du vaizdo daugiaskalės įrenginius: MSC0 ir MSC1. Sraigtasparnis aiškiai skiria MSC0 1 ir 2 kamerų keliams apdoroti, o MSC1 – 3 ir 4 kameroms.

Keturių kamerų duomenų srauto srautas sumažinamas ir sujungiamas naudojant „tiovxmosaic“ papildinį. Gauti duomenys rodomi viename ekrane. 4-4 paveiksle parodyta keturių kamerų, kuriose veikia gilaus mokymosi modelis ir objektų aptikimas, išvestis. Kiekvieno duomenų srauto srautas (kamera) veikia 30 kadrų per sekundę greičiu, o bendras – 120 kadrų per sekundę greičiu.

Toliau pateikiamas visas daugiakamerinio gilaus mokymosi naudojimo atvejo scenarijus, parodytas 4-3 paveiksle.

Veiklos analizė

Keturių kamerų sąranka, naudojant „V3Link“ plokštę ir „AM62A SK“, buvo išbandyta įvairiuose taikymo scenarijuose, įskaitant tiesioginį rodymą ekrane, transliaciją per Ethernet (keturi UDP kanalai), įrašymą į 4 atskirus fileir naudojant gilaus mokymosi išvadas. Kiekviename eksperimente stebėjome kadrų dažnį ir procesoriaus branduolių panaudojimą, kad ištirtume visos sistemos galimybes.

Kaip anksčiau parodyta 4-4 paveiksle, gilaus mokymosi srautas naudoja „tiperfooverlay GStreamer“ papildinį, kad ekrano apačioje būtų rodomos procesoriaus branduolio apkrovos kaip juostinė diagrama. Pagal numatytuosius nustatymus diagrama atnaujinama kas dvi sekundes, kad apkrovos būtų rodomos kaip panaudojimo procentas.tage. Be „tiperfooverlay GStreamer“ įskiepio, „perf_stats“ įrankis yra antra parinktis, leidžianti tiesiogiai terminale rodyti pagrindinį našumą su galimybe išsaugoti jį faile. fileŠis įrankis yra tikslesnis, palyginti su „tTiperfoverlay“, nes pastarasis papildomai apkrauna ARMm branduolius ir DDR, kad būtų galima nupiešti grafiką ir jį perdengti ekrane. „perf_stats“ įrankis daugiausia naudojamas aparatinės įrangos panaudojimo rezultatams rinkti visuose šiame dokumente pateiktuose bandymų atvejuose. Kai kurie svarbūs apdorojimo branduoliai ir greitintuvai, tirti šiuose bandymuose, apima pagrindinius procesorius (keturis A53 Arm branduolius, kurių dažnis yra 1.25 GHz), gilaus mokymosi greitintuvą (C7x-MMA, kurio dažnis yra 850 MHz), VPAC (ISP) su VISS ir daugiaskaliais įrenginiais (MSC0 ir MSC1) bei DDR operacijas.

5-1 lentelėje parodytas našumas ir išteklių panaudojimas naudojant AM62A su keturiomis kameromis trimis atvejais, įskaitant keturių kamerų transliaciją į ekraną, transliaciją per Ethernet ir įrašymą į keturias atskiras kameras. files. Kiekvienu naudojimo atveju atliekami du testai: tik su kamera ir su gilaus mokymosi išvada. Be to, pirmoje 5-1 lentelės eilutėje parodytas aparatinės įrangos panaudojimas, kai AM62A veikė tik operacinė sistema be jokių vartotojo programų. Tai naudojama kaip atskaitos taškas, su kuriuo palyginama vertinant kitų testų atvejų aparatinės įrangos panaudojimą. Kaip parodyta lentelėje, keturios kameros su giliuoju mokymusi ir ekrano rodymu veikė po 30 kadrų per sekundę greičiu, o iš viso keturios kameros veikė 120 kadrų per sekundę greičiu. Toks didelis kadrų dažnis pasiekiamas naudojant tik 86 % viso gilaus mokymosi greitintuvo (C7x-MMA) pajėgumo. Be to, svarbu pažymėti, kad šiuose eksperimentuose gilaus mokymosi greitintuvas buvo veikiamas 850 MHz, o ne 1000 MHz dažniu, o tai sudaro maždaug tik 85 % jo maksimalaus našumo.

5-1 lentelė. AM62A našumas (KPS) ir išteklių panaudojimas, kai naudojamas su 4 IMX219 kameromis ekrano rodymui, Ethernet srautui, įrašymui į Fileir atliekant gilaus mokymosi išvadas

Taikymas n	Vamzdynas (operacija) )	Išvestis	FPS vid. konvejerio s	FPS viso	MPU A53s @ 1.25 GHz [%]	Mikrovaldiklio R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Iš viso [MB/s]
Nėra programėlės	Pradinis lygis Neoperuojama	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Fotoaparatas tik	Srautas į ekraną	Ekranas	30	120	12	12	0	70	61	60	1015	757	1782
	Srautas per Ethernet	UDP: 4 XNUMX XNUMX XNUMX XNUMX 1920 × 1080 prievadai	30	120	23	6	0	70	0	0	2071	1390	3461
	Įrašas į files	4 file1920 × 1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam su giliuoju mokymusi	Gilusis mokymasis: objektų aptikimas MobV1 – coco	Ekranas	30	120	38	25	86	71	85	82	2926	1676	4602
	Gilusis mokymasis: objektų aptikimas MobV1-coco ir srautas per Ethernet	UDP: 4 XNUMX XNUMX XNUMX XNUMX 1920 × 1080 prievadai	28	112	84	20	99	66	65	72	4157	2563	6720
	Gilusis mokymasis: objektų aptikimas MobV1-coco ir įrašymas į files	4 file1920 × 1080	28	112	87	22	98	75	82	61	2024	2458	6482

Santrauka
Šioje taikymo ataskaitoje aprašoma, kaip įdiegti kelių kamerų programas AM6x įrenginių šeimoje. Ataskaitoje pateikiamas pavyzdinis projektas, pagrįstas „Arducam“ „V3Link“ kamerų sprendimų rinkiniu ir AM62A SK EVM, su keliomis kamerų programomis, naudojančiomis keturias IMX219 kameras, pvz., srautiniu perdavimu ir objektų aptikimu. Vartotojams rekomenduojama įsigyti „V3Link“ kamerų sprendimų rinkinį iš „Arducam“ ir pakartoti šias programas.ampAtaskaitoje taip pat pateikiama išsami AM62A veikimo analizė, naudojant keturias kameras įvairiomis konfigūracijomis, įskaitant rodymą ekrane, transliaciją per Ethernet ir įrašymą į files. Tai taip pat rodo AM62A gebėjimą atlikti gilaus mokymosi išvadas keturiuose atskiruose kamerų srautuose lygiagrečiai. Jei turite klausimų apie šių pavyzdžių vykdymąampJei taip, pateikite užklausą TI E2E forume.

Nuorodos

AM62A pradinio rinkinio EVM greito paleidimo vadovas

„ArduCam V3Link“ kameros sprendimo greito paleidimo vadovas
„Edge AI SDK“ dokumentacija, skirta AM62A
„Edge AI“ išmaniosios kameros su energiją taupančiu AM62A procesoriumi

AM62A kamerų veidrodėlių sistemos
Vairuotojo ir keleivių užimtumo stebėjimo sistemos AM62A modelyje
Keturių kanalų kameros taikymas erdviniam garsui View ir CMS kamerų sistemos

AM62Ax Linux akademija apie CIS-2 jutiklio įjungimą
Edge AI ModelZoo
Edge AI studija

Perf_stats įrankis

Šioje paraiškos pastaboje nurodytos TI dalys:

https://www.ti.com/product/AM62A7

SVARBUS PRANEŠIMAS IR ATSISAKYMAS

TI TEIKIA TECHNINIUS IR PATIKIMUMO DUOMENYS (ĮSKAITANT DUOMENŲ LAPUS), PROJEKTAVIMO IŠTEKLIUS (ĮSKAITANT REFERENCINIUS PROJEKTUS), TAIKYMO AR KITUS PROJEKTAVIMO PATARIMUS, WEB ĮRANKIAI, SAUGOS INFORMACIJA IR KITI IŠTEKLIAI „TOKIE, KOKIA YRA“ IR SU VISAIS TRŪKUMAIS, IR ATSAKOMYBĖS VISŲ AIŠKIŲ IR NUMANOMŲ GARANTIJŲ, ĮSKAITANT BE APribojimų JOKIAS NUMANOMAS GARANTIJAS DĖL PREKYBINĖS NAUDOJIMO ARBA PREKYBINĖS GARANTIJOS, NEMOKAMAI SU VISAIS TRIKIMAI TREČIŲJŲ ŠALIŲ INTELEKTINĖS NUOSAVYBĖS TEISĖS .

Šie ištekliai skirti patyrusiems kūrėjams, kuriantiems TI produktus. Jūs esate tik atsakingas už

pasirinkti tinkamus TI produktus jūsų programai,

kurdami, patvirtindami ir išbandydami savo programą, ir
užtikrindami, kad jūsų programa atitiktų taikomus standartus ir visus kitus saugos, apsaugos, norminius ar kitus reikalavimus.

Šie ištekliai gali būti keičiami be įspėjimo. TI leidžia jums naudoti šiuos išteklius tik kuriant programą, kurioje naudojami ištekliuose aprašyti TI produktai. Draudžiama atgaminti ir rodyti šiuos išteklius kitaip. Jokia licencija nesuteikiama jokiai kitai TI intelektinės nuosavybės teisei ar jokiai trečiosios šalies intelektinės nuosavybės teisei. TI neprisiima atsakomybės už bet kokias pretenzijas, žalą, išlaidas, nuostolius ir atsakomybę, kylančią dėl jūsų naudojimosi šiais ištekliais, ir jūs visiškai atlyginsite TI ir jos atstovams nuostolius.

TI produktai tiekiami pagal TI pardavimo sąlygas arba kitas taikomas sąlygas ti.com arba pateikiami kartu su tokiais TI produktais. TI teikiant šiuos išteklius neplečiamos ar kitaip nekeičiamos TI taikomos garantijos ar garantijos atsisakymas TI produktams.

TI prieštarauja bet kokioms papildomoms ar kitokioms jūsų pasiūlytoms sąlygoms ir jas atmeta.

SVARBI PRANEŠIMAS

Pašto adresas: Texas Instruments, Post Office Box 655303, Dalasas, Teksasas 75265

Dažnai užduodami klausimai

K: Ar su AM6x šeimos įrenginiais galiu naudoti bet kokio tipo kamerą?

„AM6x“ šeima palaiko įvairių tipų kameras, įskaitant tas, kurios turi integruotą ISP arba neturi jo. Daugiau informacijos apie palaikomus kamerų tipus žr. specifikacijose.

Kokie yra pagrindiniai AM62A ir AM62P vaizdo apdorojimo skirtumai?

Pagrindiniai variantai apima palaikomus kamerų tipus, kamerų išvesties duomenis, interneto paslaugų teikėjo (IPT) HWA, gilaus mokymosi HWA ir 3D grafikos HWA buvimą. Išsamesnį palyginimą žr. specifikacijų skyriuje.

Dokumentai / Ištekliai

„Texas Instruments AM6x“ kuria kelias kameras [pdfVartotojo vadovas
AM62A, AM62P, AM6x kelių kamerų kūrimas, AM6x, kelių kamerų kūrimas, kelios kameros, kamera

Nuorodos

Vartotojo vadovas

„Texas Instruments AM6x“ kuria kelias kameras

Specifikacijos