AM6x Razvijanje več kamer
“
Tehnični podatki:
- Ime izdelka: Družina naprav AM6x
- Podprta vrsta kamere: AM62A (z vgrajenim ISP-jem ali brez njega),
AM62P (z vgrajenim ponudnikom internetnih storitev) - Izhodni podatki kamere: AM62A (RAW/YUV/RGB), AM62P (YUV/RGB)
- Ponudnik internetnih storitev HWA: AM62A (da), AM62P (ne)
- Globoko učenje HWA: AM62A (da), AM62P (ne)
- 3D grafika HWA: AM62A (ne), AM62P (da)
Navodila za uporabo izdelka:
1. Uvod v večkamerne aplikacije na AM6x:
Vgrajene kamere igrajo ključno vlogo v sodobnih sistemih vida.
Uporaba več kamer v sistemu izboljša zmogljivosti in
omogoča naloge, ki jih ni mogoče doseči z eno samo kamero.
2. Aplikacije, ki uporabljajo več kamer:
- Varnostni nadzor: Izboljša nadzor
pokritost, sledenje objektom in natančnost prepoznavanja. - Surround View: Omogoča stereo vid za opravila
kot so zaznavanje ovir in manipulacija s predmeti. - Sistem snemalnika v kabini in kamere v ogledalih:
Zagotavlja podaljšano pokritost in odpravlja slepe pege. - Medicinsko slikanje: Ponuja izboljšano natančnost pri
kirurška navigacija in endoskopija. - Droni in zračno slikanje: Zajemi
slike visoke ločljivosti iz različnih kotov za različne
aplikacije.
3. Priključitev več kamer CSI-2 na sistem na čipu:
Za povezavo več kamer CSI-2 s SoC sledite navodilom
navodila v uporabniškem priročniku. Zagotovite pravilno poravnavo in
priključitev vsake kamere na določena vrata na SoC-ju.
Pogosto zastavljena vprašanja (FAQ):
V: Ali lahko z družino AM6x uporabljam katero koli vrsto kamere?
naprave?
A: Družina AM6x podpira različne tipe kamer, vključno z
tiste z vgrajenim ponudnikom internetnih storitev ali brez njega. Za podrobnosti glejte specifikacije.
več podrobnosti o podprtih vrstah kamer.
V: Katere so glavne razlike med AM62A in AM62P v
obdelava slik?
A: Ključne razlike vključujejo podprte vrste kamer, kamero
izhodni podatki, prisotnost ISP HWA, Deep Learning HWA in 3D
Grafični strojno-tehnični vmesnik. Za podrobne informacije glejte razdelek s specifikacijami.
primerjava.
“`
www.ti.com
Kazalo
Opomba o aplikaciji
Razvoj aplikacij z več kamerami na AM6x
Jianzhong Xu, Qutaiba Saleh
POVZETEK
To poročilo opisuje razvoj aplikacij z uporabo več kamer CSI-2 na napravah družine AM6x. Predstavljena je referenčna zasnova zaznavanja objektov z globokim učenjem na 4 kamerah na sistemu na čipu AM62A z analizo zmogljivosti. Splošna načela zasnove veljajo za druge sisteme na čipu z vmesnikom CSI-2, kot sta AM62x in AM62P.
Kazalo
1 Uvod……………………………………………………………………………………………………………………………………………………..2 2 Priključitev več kamer CSI-2 na sistem na čipu… ...
2.1 Agregator CSI-2 z uporabo SerDes……………………………………………………………………………………………………………………………………. 3 2.2 Agregator CSI-2 brez uporabe SerDes… ... 4 3 Pretakanje iz štirih kamer……………………………………………………………………………………………………………………………………………..5 3.1 Sklepanje globokega učenja z več kamerami………………………………………………………………………………………………………………………….. 5 3.2 Analiza učinkovitosti……………………………………………………………………………………………………………………………………………………. 5 4 Povzetek………………………………………………………………………………………………………………………………………………. 7 4.1 Literatura… .... 7
Blagovne znamke
Vse blagovne znamke so last njihovih lastnikov.
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
1
Avtorske pravice © 2024 Texas Instruments Incorporated
Uvod
www.ti.com
1 Uvod
Vgrajene kamere igrajo pomembno vlogo v sodobnih sistemih vida. Uporaba več kamer v sistemu širi zmogljivosti teh sistemov in omogoča funkcije, ki jih z eno samo kamero ni mogoče doseči. Spodaj je nekaj primerovampseznam aplikacij, ki uporabljajo več vgrajenih kamer:
Varnostni nadzor: Več strateško postavljenih kamer zagotavlja celovito nadzorno pokritost. Omogočajo panoramsko views, zmanjšajo mrtve pege in izboljšajo natančnost sledenja in prepoznavanja objektov,
izboljšanje splošnih varnostnih ukrepov.
Surround ViewZa ustvarjanje stereo vidnega sistema se uporablja več kamer, ki omogočajo tridimenzionalne informacije in oceno globine. To je ključnega pomena za naloge, kot je zaznavanje ovir pri avtonomnih vozilih.
vozila, natančna manipulacija predmetov v robotiki in izboljšan realizem izkušenj obogatene resničnosti.
Sistem snemalnika kabine in kamere v ogledalih: Snemalnik kabine avtomobila z več kamerami lahko z enim samim procesorjem zagotovi večjo pokritost. Podobno lahko sistem s kamerami v ogledalih z dvema ali več kamerami razširi
voznikovo polje view in odpraviti mrtve kote z vseh strani avtomobila.
Medicinsko slikanje: Pri medicinskem slikanju se lahko za naloge, kot je kirurška navigacija, uporablja več kamer, kar kirurgom zagotavlja več perspektiv za večjo natančnost. Pri endoskopiji več kamer omogoča temeljit pregled.
pregled notranjih organov.
Droni in zračno fotografiranje: Droni so pogosto opremljeni z več kamerami za zajemanje slik ali videoposnetkov visoke ločljivosti iz različnih kotov. To je uporabno v aplikacijah, kot so zračno fotografiranje, kmetijstvo
spremljanje in geodetske meritve.
Z napredkom mikroprocesorjev je mogoče v en sam sistem na čipu (SoC) integrirati več kamer, kar zagotavlja kompaktne in učinkovite rešitve. SoC AM62Ax z visokozmogljivo obdelavo videa/vida in pospeševanjem globokega učenja je idealna naprava za zgoraj omenjene primere uporabe. Druga naprava AM6x, AM62P, je zasnovana za visokozmogljive vgrajene 3D-prikazovalne aplikacije. Opremljen s pospeševanjem 3D-grafike lahko AM62P enostavno združi slike iz več kamer in ustvari panoramski posnetek visoke ločljivosti. viewInovativne funkcije SoC-ja AM62A/AM62P so bile predstavljene v različnih publikacijah, kot so [4], [5], [6] itd. Ta opis uporabe ne bo ponavljal teh opisov funkcij, temveč se bo osredotočil na integracijo več kamer CSI-2 v vgrajene aplikacije za vid na AM62A/AM62P.
Tabela 1-1 prikazuje glavne razlike med AM62A in AM62P glede obdelave slik.
Tabela 1-1. Razlike med AM62A in AM62P pri obdelavi slik
SoC
AM62A
AM62P
Podprta vrsta kamere
Z vgrajenim ponudnikom internetnih storitev ali brez njega
Z vgrajenim ponudnikom internetnih storitev
Izhodni podatki kamere
Surovo/YUV/RGB
YUV/RGB
Internetni operater HWA
ja
št
Globoko učenje HWA
ja
št
3D grafika HWA
št
ja
2
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Povezovanje več kamer CSI-2 s SoC
2. Priključitev več kamer CSI-2 na sistem na čipu
Podsistem kamere na sistemu na čipu AM6x vsebuje naslednje komponente, kot je prikazano na sliki 2-1:
· Sprejemnik MIPI D-PHY: sprejema video tokove iz zunanjih kamer in podpira do 1.5 Gbps na podatkovni pas za 4 pasove.
· Sprejemnik CSI-2 (RX): sprejema video tokove iz sprejemnika D-PHY in jih bodisi neposredno pošlje ponudniku internetnih storitev bodisi podatke shrani v pomnilnik DDR. Ta modul podpira do 16 virtualnih kanalov.
· SHIM: ovoj DMA, ki omogoča pošiljanje zajetih tokov v pomnilnik prek DMA. Ta ovoj lahko ustvari več kontekstov DMA, pri čemer vsak kontekst ustreza virtualnemu kanalu sprejemnika CSI-2.
Podatkovni pas 0
ISP
MIPI
Podatkovni pas 1
CSI2 RX
D-PHY
Podatkovni pas 2
Sprejemnik
Podatkovni pas 3
Ura
ŠIM
DDR pomnilnik
Moduli podsistema kamere SoC AM62A/AM62P
Slika 2-1. Blokovni diagram visoke ravni podsistema kamere na sistemu na čipu AM62A/AM62P
Na AM6x je mogoče podpirati več kamer z uporabo virtualnih kanalov CSI-2 RX, čeprav je na SoC samo en vmesnik CSI-2 RX. Za združevanje več tokov kamer in pošiljanje v en SoC je potrebna zunanja komponenta za združevanje CSI-2. Uporabiti je mogoče dve vrsti rešitev za združevanje CSI-2, ki sta opisani v naslednjih razdelkih.
2.1 Agregator CSI-2 z uporabo SerDes
Eden od načinov za združevanje več tokov kamer je uporaba rešitve za serializiranje in deserializiranje (SerDes). Serializator pretvori podatke CSI-2 iz vsake kamere in jih prenese prek kabla. Deserializator prejme vse serializirane podatke, prenesene iz kablov (en kabel na kamero), pretvori tokove nazaj v podatke CSI-2 in nato pošlje prepleten tok CSI-2 na en sam vmesnik CSI-2 RX na SoC. Vsak tok kamere je identificiran z edinstvenim virtualnim kanalom. Ta rešitev za združevanje ponuja dodatno prednost, saj omogoča povezavo na dolge razdalje do 15 m od kamer do SoC.
Serializatorji in deserializatorji FPD-Link ali V3-Link (SerDes), ki jih podpira AM6x Linux SDK, so najbolj priljubljene tehnologije za to vrsto rešitve združevanja CSI-2. Deserializatorji FPD-Link in V3-Link imajo povratne kanale, ki jih je mogoče uporabiti za pošiljanje signalov sinhronizacije okvirjev za sinhronizacijo vseh kamer, kot je pojasnjeno v [7].
Slika 2-2 prikazuje exampuporaba SerDes za povezavo več kamer z enim samim AM6x SoC.
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
3
Avtorske pravice © 2024 Texas Instruments Incorporated
Povezovanje več kamer CSI-2 s SoC
Kamera
Serializator
Središče deserializatorja
www.ti.com
Kamera Kamera
Serializiralnik Serializiralnik
CSI-2 oddaja
CSI-2 Rx
AM62A/ AM62P
SoC
Kamera
Serializator
Slika 2-2. Povezovanje več kamer z uporabo SerDes
BivšiampDel te združevalne rešitve najdete v kompletu Arducam V3Link Camera Solution Kit. Ta komplet ima vozlišče deserilizatorja, ki združuje 4 tokove kamer CSI-2, kot tudi 4 pare serializatorjev V3link in kamer IMX219, vključno s koaksialnimi kabli FAKRA in 22-pinskimi kabli FPC. Referenčna zasnova, o kateri bomo razpravljali kasneje, je zgrajena na tem kompletu.
2.2 Agregator CSI-2 brez uporabe SerDes
Ta vrsta agregatorja se lahko neposredno poveže z več kamerami MIPI CSI-2 in združi podatke iz vseh kamer v en sam izhodni tok CSI-2.
Slika 2-3 prikazuje example takega sistema. Ta vrsta rešitve za združevanje ne uporablja nobenega serializatorja/deserializatorja, vendar je omejena z največjo razdaljo prenosa podatkov CSI-2, ki je do 30 cm. SDK AM6x Linux ne podpira te vrste agregatorja CSI-2.
Središče deserializatorja
Kamera
CSI-2 Rx
Kamera Kamera Kamera
CSI-2 Rx CSI-2 Rx
CSI-2 oddaja
CSI-2 Rx
CSI-2 Rx
AM62A/ AM62P
SoC
Slika 2-3. Povezovanje več kamer z uporabo agregatorja CSI-2
4
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Omogočanje več kamer v programski opremi
3 Omogočanje več kamer v programski opremi
3.1 Arhitektura programske opreme podsistema kamere
Slika 3-1 prikazuje blokovni diagram programske opreme sistema za zajem s kamero v Linux SDK AM62A/AM62P, ki ustreza strojni opremi na sliki 2-2.
Uporabniške aplikacije
Pripomočki V4L2
Krmilnik medijev
Gonilnik TI CSI2RX (SHIM, DMASS)
Cadence CSI2 – RX gonilnik
Cadence D – PHY gonilnik
Gonilnik deserializatorja
Gonilnik serializatorja
Gonilnik senzorja kamere
Ogrodje V4L2
Slika 3-1. Blokovni diagram visoke ravni sistema za zajemanje s kamero z uporabo SerDes
Ta programska arhitektura omogoča SoC-ju, da z uporabo SerDes sprejema več tokov kamer, kot je prikazano na sliki 2-2. SerDes FPD-Link/V3-Link vsaki kameri dodeli edinstven naslov I2C in virtualni kanal. Za vsako kamero je treba ustvariti edinstveno prekrivno plast drevesa naprav z edinstvenim naslovom I2C. Gonilnik CSI-2 RX prepozna vsako kamero z uporabo edinstvene številke virtualnega kanala in ustvari kontekst DMA za vsak tok kamere. Za vsak kontekst DMA se ustvari video vozlišče. Podatki iz vsake kamere se nato prejmejo in shranijo z uporabo DMA v pomnilnik. Aplikacije uporabniškega prostora uporabljajo video vozlišča, ki ustrezajo vsaki kameri, za dostop do podatkov kamere. Npr.ampPrimeri uporabe te programske arhitekture so navedeni v 4. poglavju Referenčna zasnova.
V tej arhitekturi se lahko namesti kateri koli specifičen gonilnik senzorja, ki je skladen z ogrodjem V4L2. Za informacije o integraciji novega gonilnika senzorja v Linux SDK glejte [8].
3.2 Arhitektura programske opreme za slikovni cevovod SDK za Linux AM6x ponuja ogrodje GStreamer (GST), ki ga je mogoče uporabiti v uporabniškem prostoru za integracijo komponent za obdelavo slik za različne aplikacije. Do strojnih pospeševalnikov (HWA) na sistemu na čipu, kot so pospeševalnik predhodne obdelave vida (VPAC) ali ISP, video kodirnik/dekoder in računalniški mehanizem za globoko učenje, se dostopa prek GST. pluginsVPAC (ISP) sam ima več blokov, vključno s podsistemom za vizualno slikanje (VISS), korekcijo popačenja leče (LDC) in večskalarnim sistemom (MSC), od katerih vsak ustreza vtičniku GST.
Slika 3-2 prikazuje blokovni diagram tipičnega cevovoda za prenos slike od kamere do aplikacij za kodiranje ali globoko učenje na AM62A. Za več podrobnosti o celotnem toku podatkov glejte dokumentacijo EdgeAI SDK.
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
5
Avtorske pravice © 2024 Texas Instruments Incorporated
Omogočanje več kamer v programski opremi
Samodejni nadzor osvetlitve
2A algoritem
Kamera
v4l2src
GST plugins za ponudnika internetnih storitev
Kodiranje HWA
GST plugins za kodiranje
GST plugins za globoko učenje
www.ti.com
Nadaljnje aplikacije
Internetni operater HWA
Globoko učenje HWA
Vtičnik Gstreamer (GST) AM62A Strojni pospeševalnik (HWA)
Slika 3-2. Tipičen cevovod slik AM62A z uporabo GStreamerja. Za AM62P je cevovod slik enostavnejši, ker na AM62P ni ponudnika internetnih storitev.
Kodiranje HWA
Kamera
v4l2src
GST plugins za kodiranje
GST plugins za 3D grafiko
Nadaljnje aplikacije
Globoko učenje HWA
Vtičnik Gstreamer (GST) AM62P Strojni pospeševalnik (HWA)
Slika 3-3. Tipičen cevovod slik AM62P z uporabo GStreamerja
Z video vozliščem, ustvarjenim za vsako kamero, slikovni cevovod, ki temelji na GStreamerju, omogoča hkratno obdelavo vhodov več kamer (povezanih prek istega vmesnika CSI-2 RX). Referenčna zasnova z uporabo GStreamerja za aplikacije z več kamerami je podana v naslednjem poglavju.
6
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Referenčni dizajn
4 Referenčna zasnova
To poglavje predstavlja referenčno zasnovo delovanja aplikacij z več kamerami na AM62A EVM z uporabo kompleta Arducam V3Link Camera Solution za povezavo 4 kamer CSI-2 z AM62A in izvajanje zaznavanja objektov za vse 4 kamere.
4.1 Podprte kamere
Komplet Arducam V3Link deluje tako s kamerami, ki temeljijo na FPD-Link/V3-Link, kot tudi s kamerami CSI-2, združljivimi z Raspberry Pi. Preizkušene so bile naslednje kamere: · D3 Engineering D3RCM-IMX390-953 · Leopard Imaging LI-OV2312-FPDLINKIII-110H · Kamere IMX219 v kompletu Arducam V3Link Camera Solution Kit
4.2 Nastavitev štirih kamer IMX219
Sledite navodilom v priročniku za hitri začetek uporabe začetnega kompleta AM62A EVM, da nastavite SK-AM62A-LP EVM (AM62A SK) in rešitev za kamero ArduCam V3Link ter povežete kamere z AM62A SK prek kompleta V3Link. Prepričajte se, da so nožice na fleksibilnih kablih, kamerah, plošči V3Link in AM62A SK pravilno poravnane.
Slika 4-1 prikazuje postavitev, uporabljeno za referenčno zasnovo v tem poročilu. Glavne komponente v nastavitvi vključujejo: · 1X plošča EVM SK-AM62A-LP · 1X adapterska plošča Arducam V3Link d-ch · FPC kabel, ki povezuje Arducam V3Link s SK-AM62A · 4X adapterji za kamero V3Link (serializiralniki) · 4X koaksialni kabli RF za povezavo serializatorjev V3Link s kompletom V3Link d-ch · 4X kamere IMX219 · 4X 2-pinski kabli CSI-22 za povezavo kamer s serializatorji · Kabli: kabel HDMI, USB-C za napajanje SK-AM62A-LP in 12V napajanje za komplet V3Link d-ch · Druge komponente, ki niso prikazane na sliki 4-1: kartica micro-SD, kabel micro-USB za dostop do SK-AM62A-LP in
ethernet za pretakanje
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
7
Avtorske pravice © 2024 Texas Instruments Incorporated
Referenčni dizajn
www.ti.com
Slika 4-1. Plošča V3link in postavitev 4 kamer, uporabljena v referenčni zasnovi
4.3 Konfiguracija kamer in vmesnika CSI-2 RX
Programsko opremo namestite v skladu z navodili v priročniku za hitri začetek uporabe Arducam V3Link. Po zagonu skripta za nastavitev kamere, setup-imx219.sh, bodo pravilno konfigurirani format kamere, format vmesnika CSI-2 RX in poti od vsake kamere do ustreznega video vozlišča. Za štiri kamere IMX219 so ustvarjena štiri video vozlišča. Ukaz »v4l2-ctl –list-devices« prikaže vse video naprave V4L2, kot je prikazano spodaj:
root@am62axx-evm:~# v4l2-ctl –seznam-naprav j721e-csi2rx (platforma:30102000.ticsi2rx):
/dev/video2 /dev/video3 /dev/video4 /dev/video5 /dev/video6 /dev/video7 /dev/media0
wave5-dec (platforma:wave5-dec): /dev/video0
wave5-enc (platforma:wave5-enc): /dev/video1
8
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Referenčni dizajn
Pod tiscsi6rx je 1 video vozlišč in 2 medijsko vozlišče. Vsako video vozlišče ustreza kontekstu DMA.
dodeljeno z gonilnikom CSI2 RX. Od 6 video vozlišč se 4 uporabljajo za 4 kamere IMX219, kot je prikazano na
topologija medijskih cevi spodaj:
root@am62axx-evm:~# media-ctl -p
Topologija naprave – entiteta 1: 30102000.ticsi2rx (7 blazinic, 7 povezav, 4 poti)
tip V4L2 podrazvoj podtip Neznane zastavice 0 ime vozlišča naprave /dev/v4l-subdev0 poti:
0/0 -> 1/0 [AKTIVNO] 0/1 -> 2/0 [AKTIVNO] 0/2 -> 3/0 [AKTIVNO] 0/3 -> 4/0 [AKTIVNO] pad0: Sink [tok:0 fmt:UYVY8_1X16/640×480 polje:brez barvnega prostora:srgb xfer:srgb ycbcr:601 kvantizacija:lim-območje] [tok:1 fmt:UYVY8_1X16/640×480 polje:brez barvnega prostora:srgb xfer:srgb ycbcr:601 kvantizacija:lim-območje] [tok:2 fmt:UYVY8_1X16/640×480 polje:brez barvnega prostora:srgb xfer:srgb ycbcr:601 kvantizacija:lim-območje] [tok:3 fmt:UYVY8_1X16/640×480 polje:brez barvni prostor:srgb xfer:srgb ycbcr:601 kvantizacija:lim-range] <- “cdns_csi2rx.30101000.csi-most”:1 [OMOG.,NESPREM.] pad1: Vir [tok:0 fmt:UYVY8_1X16/640×480 polje:brez barvni prostor:srgb xfer:srgb ycbcr:601 kvantizacija:lim-range] -> “30102000.ticsi2rx kontekst 0”:0 [OMOG.,NESPREM.] pad2: Vir [tok:0 fmt:UYVY8_1X16/640×480 polje:brez barvni prostor:srgb xfer:srgb ycbcr:601 kvantizacija:območje-lim] -> “30102000.ticsi2rx kontekst 1”:0 [OMOG.,NESPREM.] pad3: Vir [tok:0 fmt:UYVY8_1X16/640×480 polje:brez barvnega prostora:srgb xfer:srgb ycbcr:601 kvantizacija:območje-lim] -> “30102000.ticsi2rx kontekst 2”:0 [OMOG.,NESPREM.] pad4: Vir [tok:0 fmt:UYVY8_1X16/640×480 polje:brez barvnega prostora:srgb xfer:srgb ycbcr:601 kvantizacija:območje-lim] -> “30102000.ticsi2rx kontekst 3”:0 [OMOG.,NESPREM.] pad5: Vir -> „30102000.ticsi2rx kontekst 4“:0 [OMOG., NESPREM.] pad6: Vir -> „30102000.ticsi2rx kontekst 5“:0 [OMOG., NESPREM.]
Kot je prikazano zgoraj, ima medijska entiteta 30102000.ticsi2rx 6 izvornih blazinic, vendar se uporabljajo le prve 4, vsaka za en IMX219. Topologijo medijske cevi lahko ponazorimo tudi grafično. Za generiranje pike zaženite naslednji ukaz. file:
root@am62axx-evm:~# media-ctl –print-dot > media.dot
Nato zaženite spodnji ukaz na gostiteljskem računalniku Linux, da ustvarite png file:
$ pika -Tpng media-top.pika -o media-top.png
Slika 4-2 je slika, ustvarjena z uporabo zgoraj navedenih ukazov. Komponente v programski arhitekturi na sliki 3-1 so prikazane v tem grafu.
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
9
Avtorske pravice © 2024 Texas Instruments Incorporated
Referenčni dizajn
Serializiralniki kamer
Imx219 6-0010 /dev/v4l-subdev9
0
0 ds90ub953 4-0044 /dev/v41-subdev8
1
Imx219 7-0010 /dev/v4l-subdev5
0
0 ds90ub953 4-0045 /dev/v41-subdev3
1
Imx219 8-0010 /dev/v4l-subdev7
0
0 ds90ub953 4-0046 /dev/v41-subdev4
1
Zvezišče deserializatorja
0
1
2
3
ds90ub960 4-0030 /dev/v4l-subdev2
4
5
Most D-PHY in CSI-2 Rx
0
cdns_csi2rx.30101000.csi-bridge /dev/v4l-subdev1
1
2
3
4
TI CSI-2 RX (PODLOŽKA, DMASS)
0 30102000.ticsi2rx /dev/v4l-subdev0
1 23 4 5 6
www.ti.com
Imx219 9-0010 /dev/v4l-subdev10
0
0 ds90ub953 4-0047 /dev/v41-subdev6
1
30102000.ticsi2rx kontekst 0 /dev/video2
30102000.ticsi2rx kontekst /dev/video3
1text3010200/d0e.tvic/vsiid2erxo4context
2
30102000.ticsi2rx kontekst 3 /dev/video5
30102000.ticsi2rx kontekst 4 /dev/video6
30102000.ticsi2rx kontekst 5 /dev/video7
Video vozlišča: uporabljajo se prva 4 vozlišča, eno za vsako kamero
Slika 4-2. Medijska topologija sistema z več kamerami
4.4 Pretakanje s štirih kamer
Če sta strojna in programska oprema pravilno nastavljeni, se lahko aplikacije z več kamerami izvajajo iz uporabniškega prostora. Pri AM62A je treba ISP uglasiti za zagotavljanje dobre kakovosti slike. Za navodila za uglasitev ISP glejte Vodnik za uglasitev ISP za AM6xA. Naslednji razdelki predstavljajo primere.amppretakanje podatkov kamere na zaslon, pretakanje podatkov kamere v omrežje in shranjevanje podatkov kamere v files.
4.4.1 Pretakanje podatkov kamere na zaslon
Osnovna uporaba tega večkamernega sistema je pretakanje videoposnetkov iz vseh kamer na zaslon, priključen na isti SoC. Sledi primer cevovoda GStreamer.amppretakanja štirih IMX219 na zaslon (številke video vozlišč in številke v4l-subdev v cevovodu se bodo verjetno spreminjale od ponovnega zagona do ponovnega zagona).
gst-launch-1.0 v4l2src naprava=/dev/video2 io-mode=5 ! video/xbayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! tiovxisp sink_0::device=/dev/v4l-subdev9 ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, širina=1920, višina=1080 ! čakalna vrsta ! mosaic.sink_0 v4l2src naprava=/dev/video3 io-mode=5 ! video/xbayer,širina=1920,višina=1080,število sličic na sekundo=30/1,format=bggr ! čakalna vrsta leaky=2 ! tiovxisp sink_0::device=/dev/v4l-subdev5 ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, širina=1920, višina=1080 ! čakalna vrsta ! mosaic.sink_1 v4l2src naprava=/dev/video4 io-mode=5 ! video/x-
10
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Referenčni dizajn
bayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! tiovxisp sink_0::device=/dev/v4l-subdev7 ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, širina=1920, višina=1080 ! čakalna vrsta ! mosaic.sink_2 v4l2src naprava=/dev/video5 io-mode=5 ! video/xbayer,širina=1920,višina=1080,število sličic na sekundo=30/1,format=bggr ! čakalna vrsta leaky=2 ! tiovxisp sink_0::device=/dev/v4l-subdev10 ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, širina=1920, višina=1080 ! čakalna vrsta ! mosaic.sink_3 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<640>” sink_0::heights=”<480>” sink_1::startx=”<0>” sink_1::starty=”<480>” sink_1::widths=”<640>” sink_1::heights=”<480>” sink_2::startx=”<640>” sink_2::starty=”<0>” sink_2::widths=”<640>” sink_2::heights=”<480>” sink_3::startx=”<640>” sink_3::starty=”<480>” sink_3::widths=”<640>” sink_3::heights=”<480>” ! čakalna vrsta ! video/x-raw, širina=1920, višina=1080 ! kmssink driver-name=tidss sync=false forcemodesetting=true
4.4.2 Pretakanje podatkov kamere prek etherneta
Namesto pretakanja na zaslon, povezan z istim SoC, se lahko podatki kamere pretakajo tudi prek Etherneta. Sprejemna stran je lahko bodisi drug procesor AM62A/AM62P bodisi gostiteljski računalnik. Sledi primeramppretakanje podatkov kamere prek Etherneta (z uporabo dveh kamer zaradi enostavnosti) (upoštevajte vtičnik kodirnika, ki se uporablja v cevovodu):
gst-launch-1.0 v4l2src naprava=/dev/video2 io-mode=5 ! video/xbayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! tiovxisp ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 ! čakalna vrsta ! video/x-raw,format=NV12,širina=1920,višina=1080,frekvenca sličic=30/1 ! v4l2h264enc ! rtph264pay ! udpsink vrata=5000 gostitelj= v4l2src naprava=/dev/video3 io-mode=5 ! video/xbayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! tiovxisp ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! čakalna vrsta ! video/x-raw,format=NV12,širina=1920,višina=1080,frekvenca sličic=30/1 ! v4l2h264enc ! rtph264pay ! udpsink port=5001 host=
Sledi bivšiamppostopek prejemanja podatkov kamere in pretakanja na zaslon na drugem procesorju AM62A/AM62P:
gst-launch-1.0 -v udpsrc vrata=5000! 'aplikacija/x-rtp, ime kodiranja=H264, koristni tovor=96'! rtph264depay! avdec_h264! čakalna vrsta! videoconvert! čakalna vrsta! video/x-raw, format=NV12, širina=1920, višina=1080! čakalna vrsta! mosaic.sink_0 udpsrc vrata=5001! 'aplikacija/x-rtp, ime kodiranja=H264, koristni tovor=96'! rtph264depay! avdec_h264! čakalna vrsta! videoconvert! čakalna vrsta! video/x-raw, format=NV12, širina=1920, višina=1080! čakalna vrsta! mosaic.sink_1 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<960>” sink_0::heights=”<540>” sink_1::startx=”<960>” sink_1::starty=”<540>” sink_1::widths=”<960>” sink_1::heights=”<540>” ! čakalna vrsta ! kmssink driver-name=tidss sync=false
4.4.3 Shranjevanje podatkov kamere v Files
Namesto pretakanja na zaslon ali prek omrežja se lahko podatki kamere shranijo lokalno files. Spodnji cevovod shrani podatke vsake kamere v file (z uporabo dveh kamer kot npr.ampzaradi poenostavitve).
gst-launch-1.0 v4l2src naprava=/dev/video2 io-mode=5 ! video/xbayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! tiovxisp ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 !
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
11
Avtorske pravice © 2024 Texas Instruments Incorporated
Referenčni dizajn
www.ti.com
čakalna vrsta! video/x-raw, format=NV12, širina=1920, višina=1080, hitrost sličic=30/1! v4l2h264enc! filelokacija odvoda=camcap-1.mp4 v4l2src naprava=/dev/video3 io-mode=5 ! video/xbayer, širina=1920, višina=1080, hitrost sličic=30/1, format=bggr ! čakalna vrsta leaky=2 ! ime senzorja tiovxisp=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! čakalna vrsta ! video/x-raw,format=NV12,širina=1920,višina=1080,število sličic na sekundo=30/1 ! v4l2h264enc ! filelokacija pomivalnega korita=cam-cap-2.mp4
4.5 Sklepanje globokega učenja z več kamerami
AM62A je opremljen s pospeševalnikom globokega učenja (C7x-MMA) z do dvema TOPS-oma, ki sta sposobna izvajati različne vrste modelov globokega učenja za klasifikacijo, zaznavanje objektov, semantično segmentacijo in drugo. Ta razdelek prikazuje, kako lahko AM62A hkrati izvaja štiri modele globokega učenja na štirih različnih virih kamer.
4.5.1 Izbira modela
TI-jev EdgeAI-ModelZoo ponuja na stotine najsodobnejših modelov, ki so pretvorjeni/izvoženi iz njihovih originalnih učnih ogrodij v vdelano prijazno obliko, tako da jih je mogoče naložiti v pospeševalnik globokega učenja C7x-MMA. Analizator modelov Edge AI Studio v oblaku ponuja preprosto orodje za »izbiro modela«. Dinamično se posodablja, da vključuje vse modele, ki jih podpira TI EdgeAI-ModelZoo. Orodje ne zahteva predhodnih izkušenj in ponuja enostaven vmesnik za vnos funkcij, ki jih zahteva želeni model.
Za ta eksperiment globokega učenja z več kamerami je bil izbran model TFL-OD-2000-ssd-mobV1-coco-mlperf. Ta model zaznavanja več objektov je razvit v ogrodju Tensor Flow z vhodno ločljivostjo 300 × 300. Tabela 4-1 prikazuje pomembne značilnosti tega modela, ko je bil usposobljen na naboru podatkov coco s približno 80 različnimi razredi.
Tabela 4-1. Poudarjene značilnosti modela TFL-OD-2000-ssd-mobV1-coco-mlperf.
Model
Naloga
Resolucija
FPS
50-odstotna natančnost mAP na COCO
Zakasnitev/okvir (ms)
Izkoriščenost pasovne širine DDR (MB/okvir)
TFL-OD-2000-ssd-
Večpredmetna 300×300
~152
15.9
6.5
mobV1-coco-mlperf
Odkrivanje
18.839
4.5.2 Nastavitev cevovoda
Slika 4-3 prikazuje cevovod globokega učenja GStreamer s 4 kamerami. TI ponuja komplet GStreamerja plugins ki omogočajo prenos dela obdelave medijev in sklepanja globokega učenja na strojne pospeševalnike. Nekateri npr.ample teh plugins vključujejo tiovxisp, tiovxmultiscaler, tiovxmosaic in tidlinferer. Cevovod na sliki 4-3 vključuje vse potrebne plugins za večpotni cevovod GStreamer za vhode s 4 kamerami, vsak s predhodno obdelavo medijev, sklepanjem globokega učenja in naknadno obdelavo. Podvojeni plugins za vsako od poti kamere so v grafu zložene za lažjo predstavitev.
Razpoložljivi strojni viri so enakomerno porazdeljeni med štirimi potmi kamer. Na primer, AM62A vsebuje dva multiskalerja slike: MSC0 in MSC1. Cevovod je MSC0 izrecno namenil obdelavi poti kamere 1 in kamere 2, medtem ko je MSC1 namenjen kameri 3 in kameri 4.
12
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
CSI IMX219 Cam (1) Cam (2) Cam (3) Cam (4)
VISS pospeševalnik
Pospeševalnik MSC
1920×1080
1920×1080
RGGB
NV12
Zajem vnosa
Okrepitev osvetlitve
v4l2src
tiovxisp
Skaliranje in razdelitev tiovxmultiscaler
1110×690 NV12
1110×690 NV12
čakalna vrsta
Pospeševalnik MSC
Lestvica tiovxmultiscaler
640×480 NV12
Pospeševalnik globokega učenja C7x/MMA
čakalna vrsta
Referenčni dizajn
Pospeševalnik MSC
Lestvica tiovxmultiscaler
300×300 NV12
Predobdelava tiovxdlpreproc
300×300RGB
tidlinferer
Postprocess tidlpostproc
Pospeševalnik DSS
Pospeševalnik MSC
192×1080
NV12 HDMI
Za prikaz kmssink
Zmogljivost tipperfoverlay
Koncentrirane slike tiovxmosaic
4x640x480 NV12
Vtičnik GST ARM NEON Optimiziran vtičnik GST ARM Globoko učenje Izvajanje časa
Vtičnik GST s strojno opremo in aplikacijsko kodo pospeševalnika strojne opreme na jedrih ARM A53
Slika 4-3. Cevovod GStreamer za sklepanje globokega učenja s štirimi CSI IMX219 kamerami na AM62A
Izhod štirih kamernih cevovodov je pomanjšan in združen z uporabo vtičnika tiovxmosaic. Izhod je prikazan na enem zaslonu. Slika 4-4 prikazuje izhod štirih kamer z modelom globokega učenja, ki izvaja zaznavanje objektov. Vsak cevovod (kamera) deluje s 30 FPS in skupno 120 FPS.
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
13
Avtorske pravice © 2024 Texas Instruments Incorporated
Referenčni dizajn
www.ti.com
Slika 4-4. Posnetek zaslona sklepanja globokega učenja za zaznavanje objektov s štirimi kamerami z uporabo AM62A z grafičnim prekrivanjem zmogljivosti
Sledi celoten skript cevovoda za primer uporabe večkamernega globokega učenja, prikazan na sliki 4-3.
gst-launch-1.0 -v v4l2src naprava=/dev/video2 način io=5 ! čakalna vrsta leaky=2 ! video/x-bayer, širina=1920, višina=1080, format=rggb ! tiovxisp ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=0 name=split_01 split_01. ! čakalna vrsta ! video/x-raw, širina=1110, višina=690 ! tiovxmultiscaler target=0 ! video/xraw, širina=300, višina=300 ! tiovxdlpreproc podatkovni tip=3 vrstni red kanalov=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_0.tensor split_01. ! čakalna vrsta ! video/x-raw, širina=640, višina=360 ! post_0.sink tidlpostproc ime=post_0 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alfa=0.400000 viz-prag=0.600000 top-N=5 ! čakalna vrsta ! mosaic_0. v4l2src naprava=/dev/video3 io-mode=5 ! čakalna vrsta leaky=2 ! video/x-bayer, širina=1920, višina=1080, format=rggb ! tiovxisp ime-senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=0 name=split_11 split_11. ! čakalna vrsta ! video/x-raw, širina=1110, višina=690 ! tiovxmultiscaler target=0 ! video/xraw, širina=300, višina=300 ! tiovxdlpreproc podatkovni tip=3 vrstni red kanalov=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_1.tensor split_11. ! čakalna vrsta ! video/x-raw, širina=640, višina=360 ! post_1.sink tidlpostproc ime=post_1 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alfa=0.400000 viz-prag=0.600000 top-N=5 ! čakalna vrsta ! mosaic_0. v4l2src naprava=/dev/video4 io-mode=5 ! čakalna vrsta leaky=2 ! video/x-bayer, širina=1920, višina=1080, format=rggb ! tiovxisp ime-senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=1 name=split_21 split_21. ! čakalna vrsta ! video/x-raw, širina=1110, višina=690 ! tiovxmultiscaler target=1 ! video/x-raw, širina=300, višina=300 ! tiovxdlpreproc podatkovni tip=3 vrstni red kanalov=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_2.tensor split_21. ! čakalna vrsta ! video/x-raw, širina=640, višina=360 ! post_2.sink tidlpostproc ime=post_2 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alfa=0.400000 viz-prag=0.600000 top-N=5 ! čakalna vrsta ! mosaic_0.
14
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Referenčni dizajn
v4l2src naprava=/dev/video5 način via-načina=5! čakalna vrsta leaky=2! video/x-bayer, širina=1920, višina=1080, format=rggb! tiovxisp ime senzorja=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=1 name=split_31 split_31. ! čakalna vrsta ! video/x-raw, širina=1110, višina=690 ! tiovxmultiscaler target=1 ! video/x-raw, širina=300, višina=300 ! tiovxdlpreproc podatkovni tip=3 vrstni red kanalov=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_3.tensor split_31. ! čakalna vrsta ! video/x-raw, širina=640, višina=360 ! post_3.sink tidlpostproc ime=post_3 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alfa=0.400000 viz-prag=0.600000 top-N=5 ! čakalna vrsta ! mosaic_0. tiovxmosaic src::pool-size=3 name=mosaic_0 sink_0::startx=”<320>” sink_0::starty=”<180>” sink_0::widths=”<640>” sink_0::heights=”<360>” sink_1::startx=”<960>” sink_1::starty=”<180>” sink_1::widths=”<640>” sink_1::heights=”<360>” sink_2::startx=”<320>” sink_2::starty=”<560>” sink_2::widths=”<640>” sink_2::heights=”<360>” sink_3::startx=”<960>” sink_3::starty=”<560>” sink_3::widths=”<640>” sink_3::heights=”<360>” ! video/x-raw,format=NV12, širina=1920, višina=1080 ! čakalna vrsta ! tiperfoverlay title=”AM62A: Zaznavanje predmetov s štirimi kamerami” ! kmssink sync=false driver-name=tidss force-modesetting=true
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
15
Avtorske pravice © 2024 Texas Instruments Incorporated
Analiza uspešnosti
www.ti.com
5 Analiza uspešnosti
Postavitev s štirimi kamerami, ki uporabljajo ploščo V3Link in AM62A SK, je bila preizkušena v različnih scenarijih uporabe, vključno z neposrednim prikazovanjem na zaslonu, pretakanjem prek Etherneta (štirje UDP kanali) in snemanjem na 4 ločene... files in z globokim učenjem sklepanja. V vsakem poskusu smo spremljali hitrost sličic in izkoriščenost jeder procesorja, da bi raziskali zmogljivosti celotnega sistema.
Kot je bilo že prikazano na sliki 4-4, cevovod globokega učenja uporablja vtičnik tiperfoverlay GStreamer za prikaz obremenitev jeder procesorja kot stolpčni graf na dnu zaslona. Graf se privzeto posodablja vsaki dve sekundi, da prikaže obremenitve kot odstotek izkoriščenosti.tage. Poleg vtičnika tiperfoverlay za GStreamer je orodje perf_stats druga možnost za prikaz zmogljivosti jeder neposredno na terminalu z možnostjo shranjevanja v fileTo orodje je v primerjavi z orodjem tiperfoverlay natančnejše, saj slednje doda dodatno obremenitev jeder Arm in DDR za risanje grafa in njegov prikaz na zaslonu. Orodje perf_stats se uporablja predvsem za zbiranje rezultatov izkoriščenosti strojne opreme v vseh testnih primerih, prikazanih v tem dokumentu. Nekatera pomembna procesna jedra in pospeševalniki, preučeni v teh testih, vključujejo glavne procesorje (štiri jedra A53 Arm pri 1.25 GHz), pospeševalnik globokega učenja (C7x-MMA pri 850 MHz), VPAC (ISP) z VISS in multiskalerji (MSC0 in MSC1) ter operacije DDR.
Tabela 5-1 prikazuje zmogljivost in izkoriščenost virov pri uporabi AM62A s štirimi kamerami za tri primere uporabe, vključno s pretakanjem štirih kamer na zaslon, pretakanjem prek etherneta in snemanjem na štiri ločene kamere. fileV vsakem primeru uporabe sta izvedena dva testa: samo s kamero in z globokim učenjem. Poleg tega prva vrstica v tabeli 5-1 prikazuje izkoriščenost strojne opreme, ko je na AM62A deloval samo operacijski sistem brez uporabniških aplikacij. To se uporablja kot izhodišče za primerjavo pri ocenjevanju izkoriščenosti strojne opreme v drugih testnih primerih. Kot je prikazano v tabeli, so štiri kamere z globokim učenjem in prikazom na zaslonu delovale s 30 FPS vsaka, skupno pa s 120 FPS za vse štiri kamere. Ta visoka hitrost sličic je dosežena le z 86 % polne zmogljivosti pospeševalnika globokega učenja (C7x-MMA). Poleg tega je pomembno omeniti, da je bil pospeševalec globokega učenja v teh poskusih taktiran s frekvenco 850 MHz namesto 1000 MHz, kar je približno le 85 % njegove največje zmogljivosti.
16
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
Analiza uspešnosti
Tabela 5-1. Zmogljivost (FPS) in izkoriščenost virov naprave AM62A pri uporabi s 4 kamerami IMX219 za prikaz na zaslonu, pretakanje Etherneta in snemanje na Filein izvajanje sklepanja globokega učenja
Izhod aplikacijskega cevovoda
n
(operacija
)
Povprečno število FPS v cevovodu, skupno število FPS
Mikroprocesorji A53 pri 1.25 GHz [%]
Mikrokontroler R5 [%]
DLA (C7xMMA) pri 850 MHz [%]
VISS [%]
MSC0 MSC1 DDR DDR DDR
[%] [%]Rd
Wr
Skupaj
[MB/s] [MB/s] [MB/s]Brez aplikacije
Izhodišče NI na voljo Brez operacije
NA
NA
1.87 1
0
0
0
0
560 19
579
Pretok kamere na zaslon 30
samo
zaslon
120 12
12
0
70
61
60
1015 757 1782
UDP toka: 4 30
120 23
6
0
70
0
0
2071 1390 3461
čez
pristanišča
ethernet 1920×1080
Snemanje do 4 files
30
120 25
3
0
70
0
0
2100 1403 3503
files
1920×1080
Kamera z globokim
Zaslon 30
Globoko
učenje:
učni objekt
odkrivanje
MobV1-
kokos
120 38
25
86
71
85
82
2926 1676 4602
Globoko učenje: Zaznavanje objektov MobV1coco in pretakanje prek etherneta
UDP: 4 28 vrat 1920×1080
112 84
20
99
66
65
72
4157 2563 6720
Globoko učenje: zaznavanje objektov MobV1coco in snemanje v files
4 files
28
1920×1080
112 87
22
98
75
82
61
2024 2458 6482
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
17
Avtorske pravice © 2024 Texas Instruments Incorporated
Povzetek
www.ti.com
6 Povzetek
To poročilo o uporabi opisuje, kako implementirati aplikacije z več kamerami na družini naprav AM6x. V poročilu je predstavljena referenčna zasnova, ki temelji na kompletu rešitev za kamere V3Link podjetja Arducam in AM62A SK EVM, z več aplikacijami za kamere, ki uporabljajo štiri kamere IMX219, kot sta pretakanje in zaznavanje objektov. Uporabnike spodbujamo, da pridobijo komplet rešitev za kamere V3Link podjetja Arducam in ponovijo te primere.amples. Poročilo vsebuje tudi podrobno analizo delovanja kamere AM62A pri uporabi štirih kamer v različnih konfiguracijah, vključno s prikazom na zaslonu, pretakanjem prek Etherneta in snemanjem na files. Prav tako prikazuje zmožnost AM62A za izvajanje sklepanja globokega učenja na štirih ločenih tokovih kamer hkrati. Če imate kakršna koli vprašanja o izvajanju teh examples, oddajte povpraševanje na forumu TI E2E.
18
Razvoj aplikacij z več kamerami na AM6x
Avtorske pravice © 2024 Texas Instruments Incorporated
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
www.ti.com
7 Reference
1. Vodnik za hiter začetek za začetni komplet EVM za AM62A 2. Vodnik za hiter začetek rešitve za kamero ArduCam V3Link 3. Dokumentacija Edge AI SDK za AM62A 4. Pametne kamere Edge AI z energetsko učinkovitim procesorjem AM62A 5. Sistemi zrcalnih kamer na AM62A 6. Sistemi za spremljanje voznika in zasedenosti na AM62A 7. Aplikacija za štirikanalno kamero za prostorski video View in sistemi kamer CMS 8. Akademija AM62Ax Linux o omogočanju senzorja CIS-2 9. Edge AI ModelZoo 10. Edge AI Studio 11. Orodje Perf_stats
Deli TI, omenjeni v tej opombi o uporabi: · https://www.ti.com/product/AM62A7 · https://www.ti.com/product/AM62A7-Q1 · https://www.ti.com/product/AM62A3 · https://www.ti.com/product/AM62A3-Q1 · https://www.ti.com/product/AM62P · https://www.ti.com/product/AM62P-Q1 · https://www.ti.com/product/DS90UB960-Q1 · https://www.ti.com/product/DS90UB953-Q1 · https://www.ti.com/product/TDES960 · https://www.ti.com/product/TSER953
Reference
SPRADH2 FEBRUAR 2024 Oddajte povratne informacije o dokumentu
Razvoj aplikacij z več kamerami na AM6x
19
Avtorske pravice © 2024 Texas Instruments Incorporated
POMEMBNO OBVESTILO IN ODPOVED
TI ZAGOTAVLJA TEHNIČNE PODATKE IN PODATKE O ZANESLJIVOSTI (VKLJUČNO S PODATKOVNIMI LISTI), VIRE ZA OBLIKOVANJE (VKLJUČNO Z REFERENČNIMI OBLIKOVANJAMI), APLIKACIJE ALI DRUGE NASVETOVANJE O OBLIKOVANJU, WEB ORODJA, VARNOSTNE INFORMACIJE IN DRUGI VIRI »TAKŠNI, KOT SO« IN Z VSEMI NAPAKAMI, TER ZAVRAČA VSAKA IZRECNA IN NAZNAČENA JAMSTVA, VKLJUČNO BREZ OMEJITEV VSEH NAZNAČENIH JAMSTEV GLEDE PRIMERNOSTI ZA PRODAJO, PRIMERNOSTI ZA DOLOČEN NAMEN ALI NEKRŠITVE ZAGOTAVLJANJE PRAVIC INTELEKTUALNE LASTNINE TRETJIH OSEB .
Ti viri so namenjeni usposobljenim razvijalcem, ki oblikujejo z izdelki TI. Sami ste odgovorni za (1) izbiro ustreznih izdelkov TI za vašo aplikacijo, (2) načrtovanje, potrjevanje in testiranje vaše aplikacije in (3) zagotavljanje, da vaša aplikacija ustreza veljavnim standardom in vsem drugim varnostnim, varnostnim, regulativnim ali drugim zahtevam .
Ti viri se lahko spremenijo brez predhodnega obvestila. TI vam dovoli uporabo teh virov samo za razvoj aplikacije, ki uporablja izdelke TI, opisane v viru. Drugačna reprodukcija in prikazovanje teh virov je prepovedano. Nobena licenca ni podeljena nobeni drugi pravici intelektualne lastnine TI ali kateri koli pravici intelektualne lastnine tretjih oseb. TI zavrača odgovornost za morebitne zahtevke, škodo, stroške, izgube in obveznosti, ki izhajajo iz vaše uporabe teh virov, vi pa boste družbi TI in njenim predstavnikom v celoti povrnili škodo.
Izdelki TI so na voljo v skladu s prodajnimi pogoji TI ali drugimi veljavnimi pogoji, ki so na voljo na ti.com ali so na voljo v povezavi s takimi izdelki TI. Zagotavljanje teh virov s strani TI ne razširja ali kako drugače spreminja veljavnih garancij ali zavrnitev garancije za izdelke TI.
TI nasprotuje vsem dodatnim ali drugačnim pogojem, ki ste jih morda predlagali, in jih zavrača. POMEMBNO OBVESTILO
Poštni naslov: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265 Copyright © 2024, Texas Instruments Incorporated
Dokumenti / Viri
 | Texas Instruments AM6x Razvijanje več kamer [pdf] Uporabniški priročnik AM62A, AM62P, AM6x Razvijanje več kamer, AM6x, Razvijanje več kamer, Več kamer, Kamera |