Texas Instruments AM6x Zhvillon Udhëzuesin e Përdoruesit të Kamerave të Shumëfishta

Mbikëqyrja e Sigurisë: Përmirëson mbulimin e mbikëqyrjes, gjurmimin e objekteve dhe saktësinë e njohjes.
Rrethojnë View: Mundëson shikimin stereo për detyra të tilla si zbulimi i pengesave dhe manipulimi i objekteve.

Sistemi i Regjistrimit të Kabinës dhe Pasqyrës së Kamerave: Ofron mbulim të zgjatur dhe eliminon pikat e verbëra.
Imazheri Mjekësore: Ofron saktësi të shtuar në navigimin kirurgjikal dhe endoskopinë.

Dronët dhe Imazheria Ajrore: Kapni imazhe me rezolucion të lartë nga kënde të ndryshme për aplikacione të ndryshme.

Lidhja e shumë kamerave CSI-2 me SoC:
Për të lidhur disa kamera CSI-2 me SoC, ndiqni udhëzimet e dhëna në manualin e përdoruesit. Sigurohuni që secila kamerë të jetë e lidhur dhe e vendosur siç duhet me portat e caktuara në SoC.

Shënim i Aplikimit
Zhvillimi i aplikacioneve me kamera të shumëfishta në AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAKT
Ky raport përshkruan zhvillimin e aplikacioneve duke përdorur kamera të shumëfishta CSI-2 në familjen e pajisjeve AM6x. Një dizajn referues i zbulimit të objekteve me mësim të thellë në 4 kamera në SoC AM62A paraqitet me analizë të performancës. Parimet e përgjithshme të dizajnit vlejnë për SoC të tjera me një ndërfaqe CSI-2, të tilla si AM62x dhe AM62P.

Hyrje

Kamerat e integruara luajnë një rol të rëndësishëm në sistemet moderne të shikimit. Përdorimi i kamerave të shumta në një sistem zgjeron aftësitë e këtyre sistemeve dhe mundëson aftësi që nuk janë të mundura me një kamera të vetme. Më poshtë janë disa shembuj.ampMë pak aplikacione që përdorin kamera të shumta të integruara:

Mbikëqyrje Sigurie: Kamera të shumëfishta të vendosura strategjikisht ofrojnë mbulim gjithëpërfshirës të mbikëqyrjes. Ato mundësojnë pamje panoramike. views, zvogëlojnë pikat e verbëra dhe rrisin saktësinë e gjurmimit dhe njohjes së objekteve, duke përmirësuar masat e përgjithshme të sigurisë.
Rrethojnë ViewKamera të shumta përdoren për të krijuar një konfigurim stereo vizioni, duke mundësuar informacionin tre-dimensional dhe vlerësimin e thellësisë. Kjo është thelbësore për detyra të tilla si zbulimi i pengesave në automjetet autonome, manipulimi i saktë i objekteve në robotikë dhe realizmi i përmirësuar i përvojave të realitetit të shtuar.

Sistemi i Regjistrimit të Kabinës dhe Pasqyrës së Kamerave: Një sistem regjistrues kabine makine me kamera të shumëfishta mund të ofrojë më shumë mbulim duke përdorur një procesor të vetëm. Në mënyrë të ngjashme, një sistem pasqyre kamerash me dy ose më shumë kamera mund të zgjerojë fushën e veprimit të shoferit. view dhe eliminimin e pikave të verbëra nga të gjitha anët e një makine.
Imazheria Mjekësore: Kamera të shumëfishta mund të përdoren në imazherinë mjekësore për detyra si navigimi kirurgjik, duke u ofruar kirurgëve perspektiva të shumëfishta për saktësi të shtuar. Në endoskopi, kamerat e shumëfishta mundësojnë një ekzaminim të plotë të organeve të brendshme.

Dronët dhe Imazheria Ajrore: Dronët shpesh vijnë të pajisur me kamera të shumta për të kapur imazhe ose video me rezolucion të lartë nga kënde të ndryshme. Kjo është e dobishme në aplikime si fotografia ajrore, monitorimi i bujqësisë dhe vëzhgimi i tokës.
Me përparimin e mikroprocesorëve, kamera të shumta mund të integrohen në një Sistem-në-Çip të vetëm.
(SoC) për të ofruar zgjidhje kompakte dhe efikase. Pajisja SoC AM62Ax, me përpunim video/vizion me performancë të lartë dhe përshpejtim të të nxënit të thellë, është një pajisje ideale për rastet e përdorimit të lartpërmendura. Një pajisje tjetër AM6x, AM62P, është ndërtuar për aplikacione të ekranit 3D të integruar me performancë të lartë. E pajisur me përshpejtim të grafikës 3D, AM62P mund të bashkojë lehtësisht imazhet nga kamera të shumta dhe të prodhojë një pamje panoramike me rezolucion të lartë. viewKarakteristikat inovative të SoC AM62A/AM62P janë paraqitur në botime të ndryshme, të tilla si [4], [5], [6], etj. Ky shënim aplikimi nuk do t'i përsërisë ato përshkrime të karakteristikave, por përkundrazi përqendrohet në integrimin e kamerave të shumëfishta CSI-2 në aplikacionet e vizionit të integruara në AM62A/AM62P.

Tabela 1-1 tregon ndryshimet kryesore midis AM62A dhe AM62P për sa i përket përpunimit të imazhit.

Tabela 1-1. Dallimet midis AM62A dhe AM62P në Përpunimin e Imazhit

SoC	AM62A	AM62P
Lloji i Kamerës së Mbështetur	Me ose pa një ISP të integruar	Me ISP të integruar
Të dhënat e daljes së kamerës	Raw/YUV/RGB	YUV/RGB
ISP HWA	po	Nr
HWA e Mësimit të Thellë	po	Nr
Grafika 3-D HWA	Nr	po

Lidhja e shumë kamerave CSI-2 me SoC-në
Nënsistemi i Kamerës në AM6x SoC përmban komponentët e mëposhtëm, siç tregohet në Figurën 2-1:

Marrësi MIPI D-PHY: merr transmetime video nga kamerat e jashtme, duke mbështetur deri në 1.5 Gbps për korsi të dhënash për 4 korsi.

Marrësi (RX) CSI-2: merr transmetime video nga marrësi D-PHY dhe ose i dërgon drejtpërdrejt transmetimet te ofruesi i shërbimit të internetit (ISP) ose i transferon të dhënat në memorien DDR. Ky modul mbështet deri në 16 kanale virtuale.
SHIM: një mbështjellës DMA që mundëson dërgimin e rrjedhave të kapura në memorie përmes DMA. Ky mbështjellës mund të krijohet nga kontekste të shumëfishta DMA, ku secili kontekst korrespondon me një kanal virtual të Marrësit CSI-2.

Kamera të shumëfishta mund të mbështeten në AM6x përmes përdorimit të kanaleve virtuale të CSI-2 RX, edhe pse ekziston vetëm një ndërfaqe CSI-2 RX në SoC. Një komponent i jashtëm agregues CSI-2 është i nevojshëm për të kombinuar rrjedha të shumëfishta kamerash dhe për t'i dërguar ato në një SoC të vetëm. Mund të përdoren dy lloje zgjidhjesh agreguese CSI-2, të përshkruara në seksionet vijuese.

Agregatori CSI-2 duke përdorur SerDes
Një mënyrë për të kombinuar rrjedha të shumëfishta kamerash është përdorimi i një zgjidhjeje serializimi dhe deserializimi (SerDes). Të dhënat CSI-2 nga secila kamera konvertohen nga një serializues dhe transferohen përmes një kablli. Deserializuesi merr të gjitha të dhënat e serializuara të transferuara nga kabllot (një kabllo për kamera), i konverton rrjedhat përsëri në të dhëna CSI-2 dhe më pas dërgon një rrjedhë të ndërthurur CSI-2 në ndërfaqen e vetme RX CSI-2 në SoC. Çdo rrjedhë kamerash identifikohet nga një kanal virtual unik. Kjo zgjidhje agreguese ofron përfitimin shtesë të lejimit të lidhjes në distancë të gjatë deri në 15 m nga kamerat në SoC.

Serializuesit dhe deserializuesit FPD-Link ose V3-Link (SerDes), të mbështetur në SDK-në AM6x Linux, janë teknologjitë më të njohura për këtë lloj zgjidhjeje agreguese CSI-2. Si deserializuesit FPD-Link ashtu edhe V3-Link kanë kanale të prapme që mund të përdoren për të dërguar sinjale sinkronizimi të kuadrove për të sinkronizuar të gjitha kamerat, siç shpjegohet në [7].
Figura 2-2 tregon një shembullampnjë mënyrë përdorimi të SerDes për të lidhur kamera të shumta me një procesor të vetëm AM6x SoC.

Një ishampNjë pjesë e kësaj zgjidhjeje grumbulluese mund të gjendet në Arducam V3Link Camera Solution Kit. Ky komplet ka një qendër deserializuese e cila grumbullon 4 rrjedha kamerash CSI-2, si dhe 4 palë serializues V3link dhe kamera IMX219, duke përfshirë kabllot koaksiale FAKRA dhe kabllot FPC 22-pin. Dizajni referues i diskutuar më vonë është ndërtuar mbi këtë komplet.

Agregator CSI-2 pa përdorur SerDes
Ky lloj agregatori mund të ndërveprojë drejtpërdrejt me kamera të shumta MIPI CSI-2 dhe të grumbullojë të dhënat nga të gjitha kamerat në një rrjedhë të vetme dalëse CSI-2.

Figura 2-3 tregon një shembullample të një sistemi të tillë. Ky lloj zgjidhjeje agreguese nuk përdor asnjë serializues/deserializues, por është i kufizuar nga distanca maksimale e transferimit të të dhënave CSI-2, e cila është deri në 30 cm. SDK-ja Linux AM6x nuk e mbështet këtë lloj agreguesi CSI-2.

Aktivizimi i kamerave të shumëfishta në softuer

Arkitektura e Softuerit të Nënsistemit të Kamerës
Figura 3-1 tregon një diagram bllok të nivelit të lartë të softuerit të sistemit të kapjes së kamerave në SDK Linux AM62A/AM62P, që korrespondon me sistemin HW në Figurën 2-2.

Kjo arkitekturë softueri i mundëson SoC-së të marrë rrjedha të shumëfishta kamerash me përdorimin e SerDes, siç tregohet në Figurën 2-2. FPD-Link/V3-Link SerDes i cakton secilës kamerë një adresë unike I2C dhe një kanal virtual. Duhet të krijohet një mbivendosje unike e pemës së pajisjeve me adresën unike I2C për çdo kamerë. Drajveri CSI-2 RX njeh çdo kamerë duke përdorur numrin unik të kanalit virtual dhe krijon një kontekst DMA për rrjedhën e kamerës. Një nyje video krijohet për çdo kontekst DMA. Të dhënat nga secila kamerë më pas merren dhe ruhen duke përdorur DMA në memorie në përputhje me rrethanat. Aplikacionet e hapësirës së përdoruesit përdorin nyjet video që korrespondojnë me secilën kamerë për të aksesuar të dhënat e kamerës. P.sh.ampMësime mbi përdorimin e kësaj arkitekture softuerike jepen në Kapitullin 4 - Dizajni i Referencës.
Çdo drajver specifik sensori që është në përputhje me strukturën V4L2 mund të lidhet dhe të funksionojë në këtë arkitekturë. Referojuni [8] në lidhje me mënyrën e integrimit të një drajveri të ri sensori në SDK-në e Linux-it.

Arkitektura e Softuerit të Imazhit të Tubacionit

SDK-ja Linux AM6x ofron strukturën GStreamer (GST), e cila mund të përdoret në hapësirën ser për të integruar komponentët e përpunimit të imazhit për aplikacione të ndryshme. Përshpejtuesit e Hardware-it (HWA) në SoC, siç është Përshpejtuesi i Parapërpunimit të Vizionit (VPAC) ose ISP, enkoderi/dekoduesi i videos dhe motori i llogaritjes së të mësuarit të thellë, aksesohen përmes GST-së. pluginsVPAC (ISP) vetë ka blloqe të shumëfishta, duke përfshirë Nën-Sistemin e Imazheve të Shikimit (VISS), Korrigjimin e Shtrembërimit të Lentes (LDC) dhe Multiscalar (MSC), secili prej të cilëve korrespondon me një plugin GST.

Figura 3-2 tregon diagramin bllok të një kanali tipik imazhi nga kamera në kodim ose në thellësi.
aplikacione mësimore në AM62A. Për më shumë detaje rreth rrjedhës së të dhënave nga fillimi në fund, referojuni dokumentacionit të EdgeAI SDK.

Për AM62P, procesi i përpunimit të imazhit është më i thjeshtë sepse nuk ka ISP në AM62P.

Me një nyje video të krijuar për secilën prej kamerave, tubacioni i imazhit i bazuar në GStreamer lejon përpunimin e shumë hyrjeve të kamerave (të lidhura përmes të njëjtës ndërfaqe CSI-2 RX) njëkohësisht. Një dizajn referimi duke përdorur GStreamer për aplikacione me shumë kamera jepet në kapitullin tjetër.

Dizajni i Referencës

Ky kapitull paraqet një dizajn referimi për ekzekutimin e aplikacioneve me shumë kamera në AM62A EVM, duke përdorur Arducam V3Link Camera Solution Kit për të lidhur 4 kamera CSI-2 me AM62A dhe për të ekzekutuar zbulimin e objekteve për të 4 kamerat.

Kamerat e mbështetura
Seti Arducam V3Link funksionon si me kamerat e bazuara në FPD-Link/V3-Link ashtu edhe me kamerat CSI-2 të pajtueshme me Raspberry Pi. Kamerat e mëposhtme janë testuar:

Inxhinieri D3 D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

Kamerat IMX219 në Kit-in e Zgjidhjes së Kamerave Arducam V3Link

Vendosja e katër kamerave IMX219
Ndiqni udhëzimet e dhëna në Udhëzuesin e Shpejtë të Nisjes së EVM-së së Setit Fillestar AM62A për të konfiguruar SK-AM62A-LP EVM (AM62A SK) dhe Udhëzuesin e Shpejtë të Zgjidhjes së Kamerës ArduCam V3Link për të lidhur kamerat me AM62A SK përmes setit V3Link. Sigurohuni që kunjat në kabllot fleksibël, kamerat, pllakën V3Link dhe AM62A SK janë të gjitha të rreshtuara siç duhet.

Figura 4-1 tregon konfigurimin e përdorur për dizajnin referues në këtë raport. Komponentët kryesorë në konfigurim përfshijnë:

1X SK-AM62A-LP pllakë EVM
1X pllakë adaptuese Arducam V3Link d-ch
Kabllo FPC që lidh Arducam V3Link me SK-AM62A

Adaptorët e kamerave 4X V3Link (serializuesit)
Kabllo koaksiale RF 4X për të lidhur serializuesit V3Link me kitin V3Link d-ch
4X Kamera IMX219

Kabllo 4X CSI-2 22-pinëshe për të lidhur kamerat me serializuesit
Kabllot: Kabllo HDMI, USB-C për të furnizuar me energji SK-AM62A-LP dhe furnizim me energji 12V për kitin V3Link d-ch)
Komponentë të tjerë që nuk tregohen në Figurën 4-1: karta mikro-SD, kabllo mikro-USB për të aksesuar SK-AM62A-LP dhe Ethernet për transmetim

Konfigurimi i kamerave dhe ndërfaqes CSI-2 RX
Konfiguroni programin sipas udhëzimeve të dhëna në Udhëzuesin e Fillimit të Shpejtë të Arducam V3Link. Pas ekzekutimit të skriptit të konfigurimit të kamerës, setup-imx219.sh, formati i kamerës, formati i ndërfaqes CSI-2 RX dhe rrugët nga secila kamerë në nyjen përkatëse video do të konfigurohen siç duhet. Katër nyje video krijohen për katër kamerat IMX219. Komanda “v4l2-ctl –list-devices” shfaq të gjitha pajisjet video V4L2, siç tregohet më poshtë:

Nën tiscsi6rx ka 1 nyje video dhe 2 nyje media. Çdo nyje video korrespondon me një kontekst DMA të caktuar nga drajveri CSI2 RX. Nga 6 nyjet video, 4 përdoren për 4 kamerat IMX219, siç tregohet në topologjinë e tubit media më poshtë:

Siç tregohet më sipër, entiteti media 30102000.ticsi2rx ka 6 pad-e burimi, por përdoren vetëm 4 të parat, secila për një IMX219. Topologjia e tubit media mund të ilustrohet edhe grafikisht. Ekzekutoni komandën e mëposhtme për të gjeneruar një pikë. file:

Pastaj ekzekutoni komandën më poshtë në një PC pritës Linux për të gjeneruar një PNG file:

Figura 4-2 është një fotografi e gjeneruar duke përdorur komandat e dhëna më sipër. Komponentët në arkitekturën e softuerit të Figurës 3-1 mund të gjenden në këtë grafik.

Transmetim nga Katër Kamera
Me konfigurimin e duhur të pajisjeve dhe softuerëve, aplikacionet me shumë kamera mund të ekzekutohen nga hapësira e përdoruesit. Për AM62A, ISP duhet të akordohet për të prodhuar cilësi të mirë të imazhit. Referojuni Udhëzuesit të Akordimit të ISP-së AM6xA për mënyrën e kryerjes së akordimit të ISP-së. Seksionet e mëposhtme paraqesin shembuj.amptransmetimi i të dhënave të kamerës në një ekran, transmetimi i të dhënave të kamerës në një rrjet dhe ruajtja e të dhënave të kamerës në files.

Transmetimi i të dhënave të kamerës për t'u shfaqur
Një zbatim bazë i këtij sistemi me shumë kamera është transmetimi i videove nga të gjitha kamerat në një ekran të lidhur me të njëjtin SoC. Më poshtë është një kanal GStreamer, i cili...ampnjë sasi e vogël transmetimi të katër IMX219 në një ekran (numrat e nyjeve video dhe numrat v4l-subdev në proces ka të ngjarë të ndryshojnë nga një rinisje në tjetrën).

Transmetimi i të dhënave të kamerës përmes Ethernet-it
Në vend që të transmetohen në një ekran të lidhur me të njëjtin SoC, të dhënat e kamerës mund të transmetohen edhe përmes Ethernet-it. Ana marrëse mund të jetë ose një procesor tjetër AM62A/AM62P ose një PC pritës. Më poshtë është një shembull.ampMënyra e transmetimit të të dhënave të kamerës përmes Ethernet-it (duke përdorur dy kamera për thjeshtësi) (vini re shtojcën e enkoduesit të përdorur në tubacion):

Më poshtë është një ishampmënyra e marrjes së të dhënave të kamerës dhe transmetimit në një ekran në një procesor tjetër AM62A/AM62P:

Ruajtja e të dhënave të kamerës në Files
Në vend që të transmetohen në një ekran ose përmes një rrjeti, të dhënat e kamerës mund të ruhen në një sistem lokal. files. Tubacioni më poshtë ruan të dhënat e secilës kamerë në një file (duke përdorur dy kamera si ishample për thjeshtësi).

Përfundimi i Mësimit të Thellë me Shumë Kamera

AM62A është e pajisur me një përshpejtues të të mësuarit të thellë (C7x-MMA) me deri në dy TOPS, të cilat janë të afta të ekzekutojnë lloje të ndryshme të modeleve të të mësuarit të thellë për klasifikimin, zbulimin e objekteve, segmentimin semantik dhe më shumë. Ky seksion tregon se si AM62A mund të ekzekutojë njëkohësisht katër modele të të mësuarit të thellë në katër burime të ndryshme kamerash.

Zgjedhja e modelit
EdgeAI-ModelZoo i TI ofron qindra modele të teknologjisë së fundit, të cilat konvertohen/eksportohen nga kornizat e tyre origjinale të trajnimit në një format të përshtatshëm për t’u integruar, në mënyrë që të mund të transferohen në përshpejtuesin e të mësuarit të thellë C7x-MMA. Analizuesi i Modeleve Edge AI Studio i bazuar në cloud ofron një mjet të lehtë për t’u përdorur “Përzgjedhja e Modelit”. Ai përditësohet dinamikisht për të përfshirë të gjitha modelet e mbështetura në TI EdgeAI-ModelZoo. Mjeti nuk kërkon përvojë të mëparshme dhe ofron një ndërfaqe të lehtë për t’u përdorur për të futur veçoritë e kërkuara në modelin e dëshiruar.

Për këtë eksperiment të të mësuarit të thellë me shumë kamera u zgjodh modeli TFL-OD-2000-ssd-mobV1-coco-mlperf. Ky model zbulimi me shumë objekte është zhvilluar në kuadrin TensorFlow me një rezolucion hyrës prej 300×300. Tabela 4-1 tregon karakteristikat e rëndësishme të këtij modeli kur trajnohet në të dhënat cCOCO me rreth 80 klasa të ndryshme.

Tabela 4-1. Karakteristikat kryesore të modelit TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model	Detyrë	Rezolucioni	FPS	mAP 50% Saktësia në COCO	Vonesa/Korniza (ms)	DDR BW Përdorimi (MB/Kornizë)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Zbulimi i shumë objekteve	300×300	~ 152	15.9	6.5	18.839

Konfigurimi i tubacionit
Figura 4-3 tregon tubacionin GStreamer të të mësuarit të thellë me 4 kamera. TI ofron një suitë të GStreamer. plugins që lejojnë shkarkimin e një pjese të përpunimit të medias dhe përfundimit të të mësuarit të thellë nga përshpejtuesit e harduerit. Disa p.sh.amppak nga këto plugins përfshijnë tiovxisp, tiovxmultiscaler, tiovxmosaic dhe tidlinferer. Tubacioni në Figurën 4-3 përfshin të gjitha të kërkuarat plugins për një tubacion GStreamer me shumë shtigje për hyrje me 4 kamera, secila me parapërpunim mediatik, nxjerrje të thellë të të mësuarit dhe postpërpunim. I dyfishuar plugins për secilën nga shtigjet e kamerave janë grumbulluar në grafik për demonstrim më të lehtë.
Burimet e disponueshme të harduerit shpërndahen në mënyrë të barabartë midis katër shtigjeve të kamerave. Për shembull, AM62A përmban dy shkallëzues imazhi shumëfunksionalë: MSC0 dhe MSC1. Tubacioni i dedikon në mënyrë të qartë MSC0 për të përpunuar shtigjet e kamerës 1 dhe kamerës 2, ndërsa MSC1 i dedikohet kamerës 3 dhe kamerës 4.

Rezultati i katër tubacioneve të kamerave zvogëlohet dhe bashkohet duke përdorur plugin-in tiovxmosaic. Rezultati shfaqet në një ekran të vetëm. Figura 4-4 tregon rezultatin e katër kamerave me një model të të mësuarit të thellë që ekzekuton zbulimin e objekteve. Çdo tubacion (kamera) funksionon me 30 FPS dhe një total prej 120 FPS.

Më poshtë është skripti i plotë i tubacionit për rastin e përdorimit të të mësuarit të thellë me shumë kamera të treguar në Figurën 4-3.

Analiza e Performancës

Konfigurimi me katër kamera duke përdorur pllakën V3Link dhe AM62A SK u testua në skenarë të ndryshëm aplikimesh, duke përfshirë shfaqjen direkt në një ekran, transmetimin përmes Ethernet (katër kanale UDP), regjistrimin në 4 kanale të veçanta. files, dhe me përfundime të të mësuarit të thellë. Në secilin eksperiment, ne monitoruam shpejtësinë e kuadrove dhe shfrytëzimin e bërthamave të CPU-së për të eksploruar aftësitë e të gjithë sistemit.

Siç është treguar më parë në Figurën 4-4, tubacioni i të mësuarit të thellë përdor plugin-in tiperfoverlay GStreamer për të treguar ngarkesat e bërthamës së CPU-së si një grafik me shufra në fund të ekranit. Si parazgjedhje, grafiku përditësohet çdo dy sekonda për të treguar ngarkesat si përqindje shfrytëzimi.tage. Përveç shtojcës tiperfoverlay GStreamer, mjeti perf_stats është një opsion i dytë për të treguar performancën thelbësore direkt në terminal me një opsion për ruajtjen në një fileKy mjet është më i saktë krahasuar me mbivendosjen tTiperf, pasi ky i fundit shton ngarkesë shtesë në bërthamat ARMm dhe DDR për të vizatuar grafikun dhe për ta mbivendosur atë në ekran. Mjeti perf_stats përdoret kryesisht për të mbledhur rezultatet e përdorimit të harduerit në të gjitha rastet e testimit të paraqitura në këtë dokument. Disa nga bërthamat dhe përshpejtuesit e rëndësishëm të përpunimit të studiuar në këto teste përfshijnë procesorët kryesorë (katër bërthama A53 Arm @ 1.25GHz), përshpejtuesin e të mësuarit të thellë (C7x-MMA @ 850MHz), VPAC (ISP) me VISS dhe shumëshkallëzues (MSC0 dhe MSC1), dhe operacionet DDR.

Tabela 5-1 tregon performancën dhe shfrytëzimin e burimeve kur përdoret AM62A me katër kamera për tre raste përdorimi, duke përfshirë transmetimin e katër kamerave në një ekran, transmetimin përmes Ethernet dhe regjistrimin në katër kamera të veçanta. files. Në secilin rast përdorimi zbatohen dy teste: vetëm me kamerën dhe me përfundim të të mësuarit të thellë. Përveç kësaj, rreshti i parë në Tabelën 5-1 tregon përdorimet e harduerit kur vetëm sistemi operativ funksiononte në AM62A pa asnjë aplikacion përdoruesi. Kjo përdoret si bazë për t'u krahasuar me vlerësimin e përdorimeve të harduerit të rasteve të tjera të testimit. Siç tregohet në tabelë, katër kamerat me të mësuar të thellë dhe ekran funksionuan me 30 FPS secila, me një total prej 120 FPS për katër kamerat. Kjo shpejtësi e lartë e kuadrove arrihet vetëm me 86% të kapacitetit të plotë të përshpejtuesit të të mësuarit të thellë (C7x-MMA). Përveç kësaj, është e rëndësishme të theksohet se përshpejtuesi i të mësuarit të thellë u akordua në 850MHz në vend të 1000MHz në këto eksperimente, që është rreth vetëm 85% e performancës së tij maksimale.

Tabela 5-1. Performanca (FPS) dhe Shfrytëzimi i Burimeve të AM62A kur përdoret me 4 Kamera IMX219 për Shfaqje në Ekran, Rrjedhë Ethernet, Regjistrim në Files, dhe Kryerja e Inferencimit të Mësimit të Thellë

Aplikimi n	Tubacion (operacion )	Prodhimi	FPS tubacioni mesatar s	FPS total	MPU-të A53 @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Totali [MB/s]
Pa aplikacion	Baza Pa operacion	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamera vetëm	Transmeto në ekran	Ekrani	30	120	12	12	0	70	61	60	1015	757	1782
	Transmeto përmes Ethernet-it	UDP: 4 portat 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Regjistro te files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam me të mësuarit e thellë	Mësim i thellë: Zbulimi i objekteve MobV1-coco	Ekrani	30	120	38	25	86	71	85	82	2926	1676	4602
	Mësim i thellë: Zbulimi i objekteve MobV1-coco dhe Transmetimi mbi Ethernet	UDP: 4 portat 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Mësim i thellë: Zbulimi i objekteve MobV1- kokos dhe regjistrimi në files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Përmbledhje
Ky raport aplikacioni përshkruan se si të implementohen aplikacione me shumë kamera në familjen e pajisjeve AM6x. Në raport ofrohet një dizajn referimi i bazuar në V3Link Camera Solution Kit të Arducam dhe AM62A SK EVM, me disa aplikacione kamerash që përdorin katër kamera IMX219, të tilla si transmetimi dhe zbulimi i objekteve. Përdoruesit inkurajohen të marrin V3Link Camera Solution Kit nga Arducam dhe t'i kopjojnë këto shembuj.amples. Raporti gjithashtu ofron një analizë të detajuar të performancës së AM62A gjatë përdorimit të katër kamerave në konfigurime të ndryshme, duke përfshirë shfaqjen në një ekran, transmetimin përmes Ethernet dhe regjistrimin në files. Gjithashtu tregon aftësinë e AM62A për të kryer inferencë të të mësuarit të thellë në katër rrjedha të veçanta kamerash paralelisht. Nëse ka ndonjë pyetje në lidhje me ekzekutimin e këtyre shembujveamples, paraqisni një kërkesë në forumin TI E2E.

Referencat

Udhëzues i shpejtë për nisjen e EVM për kompletin fillestar AM62A

Udhëzues i shpejtë për fillimin e zgjidhjes së kamerës ArduCam V3Link
Dokumentacioni i SDK-së Edge AI për AM62A
Kamerat inteligjente Edge AI duke përdorur procesorin AM62A me efikasitet energjetik

Sistemet e Pasqyrave të Kamerave në AM62A
Sisteme Monitorimi të Shoferit dhe të Okupimit në AM62A
Aplikacioni i Kamerës me Katër Kanale për Surround View dhe Sistemet e Kamerave CMS

Akademia Linux AM62Ax mbi Aktivizimin e Sensorit CIS-2
Edge AI ModelZoo
Studioja e inteligjencës artificiale Edge

Mjeti Perf_stats

Pjesët TI të referuara në këtë shënim aplikimi:

https://www.ti.com/product/AM62A7

NJOFTIM I RËNDËSISHËM DHE MOFIMI

TI SIGURON TË DHËNAT TEKNIKE DHE TË BESUESHMËRISË (përfshirë fletët e të dhënave), BURIMET E DIZAJNIT (PERFSHIRË DIZAJNJET E REFERENCAVE), KËSHILLA KËSHILLA APLIKIMI OSE TJERA DIZAJNIM, WEB MJETET, INFORMACIONET E SIGURISË DHE BURIME TË TJERA "SIÇ ËSHTË" DHE ME TË GJITHA DEfektet, DHE REFUZON TË GJITHA GARANCITË, TË SHPREHURA DHE TË nënkuptuara, PËRFSHIRË PA KUFIZIM ASNJË GARANCI TË NËNKUPTUARA TË PARAQITURËS TË TREGTISË .

Këto burime janë të destinuara për zhvillues të aftë që dizajnojnë me produkte TI. Ju jeni vetëm përgjegjës për

duke zgjedhur produktet e duhura TI për aplikimin tuaj,

dizajnimin, vërtetimin dhe testimin e aplikacionit tuaj, dhe
duke siguruar që aplikacioni juaj përmbush standardet përkatëse dhe çdo kërkesë tjetër sigurie, mbrojtjeje, rregullatore ose të tjera.

Këto burime mund të ndryshojnë pa paralajmërim. TI ju lejon të përdorni këto burime vetëm për zhvillimin e një aplikacioni që përdor produktet e TI të përshkruara në burim. Riprodhimi dhe shfaqja tjetër e këtyre burimeve është e ndaluar. Nuk jepet asnjë licencë për asnjë të drejtë tjetër të pronësisë intelektuale të TI ose për ndonjë të drejtë të pronësisë intelektuale të palës së tretë. TI mohon përgjegjësinë për, dhe ju do ta dëmshpërbleni plotësisht TI-në dhe përfaqësuesit e saj kundër, çdo pretendimi, dëmi, kostoje, humbjeje dhe detyrimi që rrjedh nga përdorimi juaj i këtyre burimeve.

Produktet e TI ofrohen duke iu nënshtruar kushteve të shitjes të TI ose kushteve të tjera të zbatueshme të disponueshme ose më poshtë ti.com ose të ofruara në lidhje me produkte të tilla TI. Sigurimi i këtyre burimeve nga TI nuk i zgjeron ose nuk i ndryshon garancitë e zbatueshme të TI ose mohimet e garancisë për produktet e TI.

TI kundërshton dhe refuzon çdo kusht shtesë ose të ndryshëm që mund të keni propozuar.

NJOFTIM I RËNDËSISHËM

Adresa postare: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Pyetjet e bëra më shpesh

P: A mund të përdor çdo lloj kamere me familjen e pajisjeve AM6x?

Familja AM6x mbështet lloje të ndryshme kamerash, duke përfshirë ato me ose pa ISP të integruar. Referojuni specifikimeve për më shumë detaje mbi llojet e kamerave të mbështetura.

Cilat janë ndryshimet kryesore midis AM62A dhe AM62P në përpunimin e imazhit?

Variacionet kryesore përfshijnë llojet e kamerave të mbështetura, të dhënat e daljes së kamerës, praninë e ISP HWA, Deep Learning HWA dhe 3-D Graphics HWA. Referojuni seksionit të specifikimeve për një krahasim të detajuar.

Dokumentet / Burimet

Texas Instruments AM6x Zhvillon Kamera të Shumëfishta [pdfUdhëzuesi i përdoruesit
AM62A, AM62P, AM6x Duke zhvilluar kamera të shumëfishta, AM6x, Duke zhvilluar kamera të shumëfishta, Kamera të shumëfishta, Kamera

Referencat

Manuali i Përdoruesit

Texas Instruments AM6x Zhvillon Kamera të Shumëfishta

Specifikimet