Texas Instruments AM6x Kamera Anitzeko Garapenerako Erabiltzailearen Gida

Segurtasun Zaintza: Zaintza-estaldura, objektuen jarraipena eta ezagutza-zehaztasuna hobetzen ditu.
Inguratu View: Ikusmen estereoskopikoa gaitzen du oztopoak detektatzeko eta objektuak manipulatzeko bezalako zereginetarako.

Kabinako grabagailua eta kameraren ispilu sistema: Estaldura luzatua eskaintzen du eta puntu itsuak ezabatzen ditu.
Irudi medikoak: Zehaztasun handiagoa eskaintzen du kirurgia-nabigazioan eta endoskopian.

Droneak eta aireko irudiak: Atera bereizmen handiko irudiak angelu desberdinetatik hainbat aplikaziotarako.

CSI-2 kamera ugari SoC-ra konektatzea:
CSI-2 kamera ugari SoC-ra konektatzeko, jarraitu erabiltzailearen eskuliburuan emandako jarraibideak. Ziurtatu kamera bakoitza behar bezala lerrokatuta dagoela eta SoC-ko portu izendatuetara konektatzen dela.

Aplikazio Oharra
AM6x-en kamera anitzeko aplikazioak garatzea

Jianzhong Xu, Qutaiba Saleh

LABURPENA
Txosten honek AM6x gailuen familian hainbat CSI-2 kamera erabiliz aplikazioen garapena deskribatzen du. AM62A SoC-ko 4 kameratan ikaskuntza sakona erabiliz objektuak detektatzeko erreferentziazko diseinu bat aurkezten da, errendimenduaren analisi batekin batera. Diseinuaren printzipio orokorrak CSI-2 interfazea duten beste SoC batzuei aplikatzen zaizkie, hala nola AM62x eta AM62P.

Sarrera

Kamera txertatuek zeregin garrantzitsua dute ikusmen-sistema modernoetan. Sistema batean hainbat kamera erabiltzeak sistema horien gaitasunak zabaltzen ditu eta kamera bakar batekin posible ez diren gaitasunak ahalbidetzen ditu. Jarraian, adibide batzuk daude.amphainbat kamera txertatu erabiltzen dituzten aplikazioen kopurua:

Segurtasun Zaintza: Estrategikoki kokatutako hainbat kamerak zaintza-estaldura osoa eskaintzen dute. Panoramika ahalbidetzen dute views, puntu itsuak murrizten ditu eta objektuen jarraipen eta ezagutzaren zehaztasuna hobetzen du, segurtasun neurri orokorrak hobetuz.
Inguratu ViewHainbat kamera erabiltzen dira ikusmen estereo bat sortzeko, hiru dimentsioko informazioa eta sakonera kalkulatzeko aukera emanez. Hau ezinbestekoa da ibilgailu autonomoetan oztopoak detektatzeko, robotikan objektuak zehatz-mehatz manipulatzeko eta errealitate areagotuko esperientzien errealismo hobetua bezalako zereginetarako.

Kabinako Grabagailua eta Kamera Ispilu Sistema: Kamera anitz dituen autoaren kabinako grabagailu batek estaldura handiagoa eman dezake prozesadore bakarra erabiliz. Era berean, bi kamera edo gehiago dituen kamera ispilu sistema batek gidariaren ikusmen eremua zabaldu dezake. view eta ezabatu puntu itsuak autoaren alde guztietatik.
Irudi medikoak: Kamera anitz erabil daitezke irudi medikoetan, hala nola nabigazio kirurgikoa bezalako zereginetarako, kirurgialariei ikuspegi anitz emanez zehaztasun handiagoa lortzeko. Endoskopian, kamera anitzek barneko organoen azterketa sakona ahalbidetzen dute.

Droneak eta aireko irudiak: Droneek askotan hainbat kamera dituzte bereizmen handiko irudiak edo bideoak angelu desberdinetatik ateratzeko. Hori erabilgarria da aireko argazkilaritza, nekazaritzaren monitorizazioa eta lurren neurketa bezalako aplikazioetan.
Mikroprozesadoreen aurrerapenarekin, hainbat kamera integra daitezke System-on-Chip bakarrean.
(SoC) irtenbide trinko eta eraginkorrak eskaintzeko. AM62Ax SoC-a, errendimendu handiko bideo/ikusmen prozesamendua eta ikaskuntza sakonaren azelerazioa dituena, gailu aproposa da aipatutako erabilera kasuetarako. Beste AM6x gailu bat, AM62P, errendimendu handiko 3D pantaila txertatuko aplikazioetarako eraikita dago. 3D grafikoen azelerazioarekin hornituta, AM62P-ak hainbat kameratako irudiak erraz elkartu eta bereizmen handiko irudi panoramikoak sor ditzake. viewAM62A/AM62P SoC-ren ezaugarri berritzaileak hainbat argitalpenetan aurkeztu dira, hala nola [4], [5], [6], etab. Aplikazio-ohar honek ez ditu ezaugarri horien deskribapenak errepikatuko, baizik eta CSI-2 kamera anitz AM62A/AM62P-n txertatutako ikusmen-aplikazioetan integratzean zentratuko da.

1-1 taulan AM62A eta AM62P arteko desberdintasun nagusiak ageri dira irudien prozesamenduari dagokionez.

1-1 taula. AM62A eta AM62P arteko desberdintasunak irudien prozesamenduan

SoC	AM62A	AM62P
Onartutako kamera mota	ISP integratua duen edo ez duen	ISP integratua duena
Kameraren irteerako datuak	Raw/YUV/RGB	YUV/RGB
HWA ISP	Bai	Ez
Ikaskuntza sakoneko HWA	Bai	Ez
3D grafikoak HWA	Ez	Bai

CSI-2 kamera ugari SoC-ra konektatzea
AM6x SoC-ko Kamera Azpisistemak osagai hauek ditu, 2-1 irudian erakusten den bezala:

MIPI D-PHY Hartzailea: kanpoko kameretatik bideo-jarioak jasotzen ditu, 4 bidetarako datu-bide bakoitzeko 1.5 Gbps-raino onartzen ditu.

CSI-2 Hartzailea (RX): D-PHY hartzailearen bideo-jarioak jasotzen ditu eta zuzenean ISPra bidaltzen ditu edo datuak DDR memoriara botatzen ditu. Modulu honek gehienez 16 kanal birtual onartzen ditu.
SHIM: DMA bilgarri bat, DMA bidez memoriara jasotako jarioak bidaltzeko aukera ematen duena. Bilgarri honek DMA testuinguru anitz sor ditzake, testuinguru bakoitza CSI-2 hartzailearen kanal birtual bati dagokiolarik.

AM6x-ean hainbat kamera onar daitezke CSI-2 RX-ren kanal birtualak erabiliz, nahiz eta SoC-an CSI-2 RX interfaze bakarra egon. Kanpoko CSI-2 agregazio osagai bat behar da hainbat kamera-jario konbinatzeko eta SoC bakar batera bidaltzeko. Bi CSI-2 agregazio irtenbide mota erabil daitezke, hurrengo ataletan deskribatzen direnak.

CSI-2 agregatzailea SerDes erabiliz
Kamera-jario ugari konbinatzeko modu bat serializazio eta deserializazio (SerDes) irtenbide bat erabiltzea da. Kamera bakoitzeko CSI-2 datuak serializatzaile batek bihurtzen ditu eta kable baten bidez transferitzen ditu. Deserializatzaileak kableetatik transferitutako datu serializatu guztiak jasotzen ditu (kable bat kamera bakoitzeko), jarioak CSI-2 datu bihurtzen ditu berriro, eta ondoren tartekatutako CSI-2 jario bat bidaltzen du SoC-ko CSI-2 RX interfaze bakarrera. Kamera-jario bakoitza kanal birtual bakar batez identifikatzen da. Agregazio-irtenbide honek abantaila gehigarria eskaintzen du: kameretatik SoC-ra 15 m-ko distantzia luzeko konexioa ahalbidetzea.

AM6x Linux SDK-an onartzen diren FPD-Link edo V3-Link serializatzaileak eta deserializatzaileak (SerDes) dira CSI-2 agregazio-soluzio mota honetarako teknologiarik ezagunenak. Bai FPD-Link bai V3-Link deserializatzaileek atzeko kanalak dituzte, eta horiek erabil daitezke fotograma-sinkronizazio seinaleak bidaltzeko eta kamera guztiak sinkronizatzeko, [7] erreferentzian azaltzen den bezala.
2-2 irudiak adibide bat erakusten duampSerDesak erabiltzearen modua hainbat kamera AM6x SoC bakar batera konektatzeko.

ExampAgregazio-irtenbide honen zati bat Arducam V3Link Kamera Soluzio Kit-ean aurki daiteke. Kit honek deserializatzaile-gune bat dauka, 4 CSI-2 kamera-jario, baita 4 V3link serializatzaile bikote eta IMX219 kamera ere, FAKRA kable koaxialak eta 22 pineko FPC kableak barne. Geroago eztabaidatuko den erreferentzia-diseinua kit honetan oinarritzen da.

CSI-2 agregatzailea SerDes erabili gabe
Agregatzaile mota honek hainbat MIPI CSI-2 kamerarekin zuzenean konekta dezake eta kamera guztietako datuak CSI-2 irteera-jario bakarrean batu.

2-3 irudiak adibide bat erakusten duampSistema horren le. Agregazio-soluzio mota honek ez du serializatzaile/deserializatzailerik erabiltzen, baina CSI-2 datuen transferentziaren gehienezko distantziak mugatzen du, hau da, 30 cm-koa. AM6x Linux SDK-k ez du CSI-2 agregatzaile mota hau onartzen.

Kamera anitz gaitzea softwarean

Kamera azpisistemaren software arkitektura
3-1 irudiak AM62A/AM62P Linux SDK-ko kamera-harrapaketa sistemaren softwarearen goi-mailako bloke-diagrama bat erakusten du, 2-2 irudiko hardware sistemari dagokiona.

Software arkitektura honek SoC-ak hainbat kamera-jario jasotzea ahalbidetzen du SerDes erabiliz, 2-2 irudian erakusten den bezala. FPD-Link/V3-Link SerDes-ek I2C helbide eta kanal birtual bakarra esleitzen dio kamera bakoitzari. Gailu-zuhaitz gainjarri bakarra sortu behar da kamera bakoitzerako I2C helbide bakarrarekin. CSI-2 RX kontrolatzaileak kamera bakoitza ezagutzen du kanal birtual bakarra erabiliz eta DMA testuinguru bat sortzen du kamera-jario bakoitzeko. Bideo-nodo bat sortzen da DMA testuinguru bakoitzerako. Kamera bakoitzetik datuak jasotzen eta DMA erabiliz memorian gordetzen dira. Erabiltzaile-espazioko aplikazioek kamera bakoitzari dagozkion bideo-nodoak erabiltzen dituzte kamera-datuetara sartzeko. AdibidezampSoftware arkitektura hau erabiltzeko moduak 4. kapituluan – Erreferentzia Diseinua – ematen dira.
V4L2 esparruarekin bateragarria den edozein sentsore-kontrolatzaile espezifiko erabil daiteke arkitektura honetan. Ikusi [8] Linux SDK-n sentsore-kontrolatzaile berri bat nola integratu jakiteko.

Irudi-hodiaren software-arkitektura

AM6x Linux SDK-k GStreamer (GST) framework-a eskaintzen du, eta hau ser espazioan erabil daiteke hainbat aplikaziotarako irudiak prozesatzeko osagaiak integratzeko. SoC-ko Hardware Azeleragailuetara (HWA), hala nola Vision Pre-processing Accelerator (VPAC) edo ISP, bideo kodetzailea/dekodetzailea eta ikaskuntza sakoneko konputazio motorra, GST bidez sartzen dira. pluginsVPAC-ak (ISP) berak hainbat bloke ditu, besteak beste, Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) eta Multiscalar (MSC), bakoitza GST plugin bati dagokiona.

3-2 irudiak kameratik kodeketara edo irudi sakonera doan irudi-hodi tipiko baten bloke-diagrama erakusten du.
AM62A-ko ikaskuntza-aplikazioak. Muturretik muturrerako datu-fluxuari buruzko xehetasun gehiago lortzeko, jo EdgeAI SDK-ren dokumentaziora.

AM62P-rentzat, irudien kanalizazioa errazagoa da AM62P-n ez dagoelako ISPrik.

Kamera bakoitzerako bideo-nodo bana sortuta, GStreamer-en oinarritutako irudi-hodiak hainbat kamera-sarrera (CSI-2 RX interfaze beraren bidez konektatuta) aldi berean prozesatzea ahalbidetzen du. Hurrengo kapituluan, GStreamer erabiltzen duen erreferentzia-diseinu bat ematen da kamera anitzeko aplikazioetarako.

Erreferentzia Diseinua

Kapitulu honek AM62A EVM-n kamera anitzeko aplikazioak exekutatzeko erreferentziazko diseinu bat aurkezten du, Arducam V3Link Camera Solution Kit erabiliz 4 CSI-2 kamera AM62A-ra konektatzeko eta objektuen detekzioa 4 kameretarako exekutatzeko.

Onartutako kamerak
Arducam V3Link kitak FPD-Link/V3-Link oinarritutako kamerekin eta Raspberry Pi-rekin bateragarriak diren CSI-2 kamerekin funtzionatzen du. Kamera hauek probatu dira:

D3 Ingeniaritza D3RCM-IMX390-953
Leopardo Irudiak LI-OV2312-FPDLINKIII-110H

IMX219 kamerak Arducam V3Link kamera-soluzio kitean

Lau IMX219 kamera konfiguratzen
Jarraitu AM62A Starter Kit EVM Abiarazte Gidan emandako argibideei SK-AM62A-LP EVM (AM62A SK) eta ArduCam V3Link Kamera Soluzioaren Abiarazte Gidan konfiguratzeko eta kamerak AM62A SK-ra V3Link kitaren bidez konektatzeko. Ziurtatu malgutasun-kableen, kameretako, V3Link plakaren eta AM62A SK-ko pinak behar bezala lerrokatuta daudela.

4-1 irudiak txosten honetako erreferentzia-diseinurako erabilitako konfigurazioa erakusten du. Konfigurazioaren osagai nagusiak hauek dira:

1X SK-AM62A-LP EVM plaka
1X Arducam V3Link d-ch egokitzaile plaka
Arducam V3Link SK-AM62A-ra konektatzen duen FPC kablea

4X V3Link kamera egokitzaile (serializatzaileak)
4X RF kable koaxial V3Link serializatzaileak V3Link d-ch kitean konektatzeko
4X IMX219 kamera

4X CSI-2 22 pineko kable kamerak serializatzaileetara konektatzeko
Kableak: HDMI kablea, USB-C SK-AM62A-LP elikatzeko eta 12V-ko elikadura V3Link d-ch kiterako)
4-1 irudian agertzen ez diren beste osagai batzuk: mikro-SD txartela, SK-AM62A-LP atzitzeko mikro-USB kablea eta streaming bidezko Etherneta

Kamerak eta CSI-2 RX interfazea konfiguratzea
Konfiguratu softwarea Arducam V3Link Hasiberrientzako Gidan emandako argibideen arabera. Kameraren konfigurazio-skripta exekutatu ondoren, setup-imx219.sh, kameraren formatua, CSI-2 RX interfazearen formatua eta kamera bakoitzetik dagokion bideo-nodora doazen ibilbideak behar bezala konfiguratuko dira. Lau bideo-nodo sortzen dira lau IMX219 kameretarako. “v4l2-ctl –list-devices” komandoak V4L2 bideo-gailu guztiak bistaratzen ditu, behean erakusten den bezala:

6 bideo nodo eta multimedia nodo 1 daude tiscsi2rx-en azpian. Bideo nodo bakoitza CSI2 RX kontrolatzaileak esleitutako DMA testuinguru bati dagokio. 6 bideo nodoetatik 4 4 IMX219 kameretarako erabiltzen dira, beheko multimedia hodiaren topologian erakusten den bezala:

Goian erakusten den bezala, 30102000.ticsi2rx multimedia entitateak 6 iturburu-pad ditu, baina lehenengo 4ak bakarrik erabiltzen dira, bakoitza IMX219 bakoitzerako. Multimedia-hodiaren topologia grafikoki ere ilustra daiteke. Exekutatu komando hau puntu bat sortzeko. file:

Ondoren, exekutatu beheko komandoa Linux ostalari ordenagailu batean PNG bat sortzeko. file:

4-2 irudia goian emandako komandoak erabiliz sortutako irudi bat da. 3-1 irudiko software arkitekturako osagaiak grafiko honetan aurki daitezke.

Lau kameretatik streaming bidez
Hardwarea eta softwarea behar bezala konfiguratuta daudenean, hainbat kamerako aplikazioak erabiltzaile-espaziotik exekutatu daitezke. AM62A-rentzat, ISPa doitzeko behar da irudi-kalitate ona lortzeko. Kontsultatu AM6xA ISParen doikuntza-gida ISParen doikuntza nola egin jakiteko. Atal hauek adibide gisa aurkezten dira.ampkameraren datuak pantaila batera transmititzea, kameraren datuak sare batera transmititzea eta kameraren datuak gordetzea files.

Kameraren datuak pantailara erreproduzitzea
Kamera anitzeko sistema honen oinarrizko aplikazio bat kamera guztietatik SoC berera konektatutako pantaila batera bideoak erreproduzitzea da. Jarraian, GStreamer hodi baten adibidea dago.amplau IMX219 pantaila batera erreproduzitzearen bidez (bideo nodoen zenbakiak eta v4l-subdev zenbakiak berrabiaraztean aldatuko dira ziurrenik).

Kameraren datuak Ethernet bidez erreproduzitzea
SoC berera konektatutako pantaila batera erreproduzitu beharrean, kameraren datuak Ethernet bidez ere erreproduzi daitezke. Hartzailea beste AM62A/AM62P prozesadore bat edo ordenagailu nagusi bat izan daiteke. Jarraian adibide bat dago.ampKameraren datuak Ethernet bidez transmititzeko modua (bi kamera erabiliz, errazteko) (kontuan izan hoditerian erabilitako kodetzaile plugina):

Honakoa exampKameraren datuak jaso eta beste AM62A/AM62P prozesadore bateko pantaila batera transmititzeko modua:

Kameraren datuak gordetzea Files
Pantaila batera edo sare baten bidez erreproduzitu beharrean, kameraren datuak tokiko formatuan gorde daitezke. files. Beheko hodiak kamera bakoitzaren datuak gordetzen ditu file (bi kamera erabiliz adibide gisa)ample sinpletasunagatik).

Kamera anitzeko ikaskuntza sakonaren inferentzia

AM62Ak ikaskuntza sakoneko azeleragailu bat (C7x-MMA) du, gehienez bi TOPS dituena, eta gai dira ikaskuntza sakoneko eredu mota desberdinak exekutatu ahal izateko sailkapenerako, objektuen detekziorako, segmentazio semantikorako eta gehiagorako. Atal honek erakusten du nola AM62Ak lau ikaskuntza sakoneko eredu exekutatu ditzakeen aldi berean lau kamera jario desberdinetan.

Ereduen hautaketa
TIren EdgeAI-ModelZook ehunka modelo aurreratu eskaintzen ditu, jatorrizko prestakuntza-esparruetatik txertatzeko moduko formatu batera bihurtzen/esportatzen direnak, C7x-MMA ikaskuntza sakoneko azeleragailura deskargatu ahal izateko. Hodeian oinarritutako Edge AI Studio Model Analyzer-ek "Modeloen Hautaketa" tresna erabilerraza eskaintzen du. Dinamikoki eguneratzen da TI EdgeAI-ModelZook onartzen dituen modelo guztiak barne hartzeko. Tresnak ez du aurreko esperientziarik behar eta interfaze erabilerraza eskaintzen du nahi den modeloan beharrezkoak diren ezaugarriak sartzeko.

TFL-OD-2000-ssd-mobV1-coco-mlperf hautatu zen ikaskuntza sakoneko esperimentu honetarako. Objektu anitzeko detekzio-eredu hau TensorFlow esparruan garatu da, 300×300 sarrera-bereizmenarekin. 4-1 taulan eredu honen ezaugarri garrantzitsuak erakusten dira, cCOCO datu-multzoan entrenatuta, 80 klase inguru dituenean.

4-1 taula. TFL-OD-2000-ssd-mobV1-coco-mlperf modeloaren ezaugarri nabarmenak.

Eredua	Zeregin	Ebazpena	FPS	mAP % 50 COCOren zehaztasuna	Latentzia/Fotograma (ms)	DDR BW Erabilera (MB/Fotograma)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Objektu anitzen detekzioa	300×300	~152	15.9	6.5	18.839

Hodiaren konfigurazioa
4-3 irudiak 4 kamerako ikaskuntza sakoneko GStreamer hoditeria erakusten du. TI-k GStreamer multzo bat eskaintzen du plugins multimedia prozesamenduaren eta ikaskuntza sakonaren inferentziaren zati bat hardware azeleragailuetara deskargatzea ahalbidetzen dutenak. Adibide batzukamphauetako lurrak plugins tiovxisp, tiovxmultiscaler, tiovxmosaic eta tidlinferer barne hartzen ditu. 4-3 irudiko hodiak beharrezko guztiak ditu plugins 4 kamerako sarrerako GStreamer bide anitzeko kanalizazio baterako, bakoitza multimedia aurreprozesuarekin, ikaskuntza sakoneko inferentziarekin eta postprozesuarekin. Bikoiztutakoa plugins kameraren ibilbide bakoitzerako grafikoan pilatuta daude frogapen errazagoa izan dadin.
Eskuragarri dauden hardware baliabideak lau kamera bideen artean modu uniformean banatzen dira. Adibidez, AM62A-k bi irudi multieskalatzaile ditu: MSC0 eta MSC1. Hodiak MSC0 esplizituki dedikatzen dio 1. eta 2. kamera bideen prozesatzeko, eta MSC1, berriz, 3. eta 4. kamerarako.

Lau kamera-hodien irteera tiovxmosaic plugina erabiliz eskalatu eta kateatu da. Irteera pantaila bakarrean bistaratzen da. 4-4 irudiak objektuen detekzioa exekutatzen duen ikaskuntza sakoneko eredu batekin lau kameren irteera erakusten du. Hodi (kamera) bakoitza 30 FPS-tan exekutatzen ari da eta guztira 120 FPS-tan.

Jarraian, 4-3 irudian erakusten den ikaskuntza sakoneko erabilera kasurako hainbat kameraren script osoa agertzen da.

Errendimenduaren Analisia

V3Link plaka eta AM62A SK erabiliz lau kamera dituen konfigurazioa hainbat aplikazio-eszenatokitan probatu da, besteak beste, pantailan zuzenean bistaratzea, Ethernet bidezko streaminga (lau UDP kanal), 4 kanal bereizitan grabatzea... files, eta ikaskuntza sakonaren inferentziarekin. Esperimentu bakoitzean, fotograma-tasa eta CPU nukleoen erabilera kontrolatu genituen sistema osoaren gaitasunak aztertzeko.

Aurretik 4-4 irudian erakutsi bezala, ikaskuntza sakoneko hodiak tiperfoverlay GStreamer plugina erabiltzen du CPU nukleoaren kargak pantailaren behealdean barra-grafiko gisa erakusteko. Berez, grafikoa bi segundotik behin eguneratzen da kargak erabilera-ehuneko gisa erakusteko.tage. tiperfoverlay GStreamer pluginaz gain, perf_stats tresna bigarren aukera bat da nukleoaren errendimendua zuzenean terminalean erakusteko, gordetzeko aukera batekin fileTresna hau zehatzagoa da tTiperfogainjartzearekin alderatuta, azken honek ARMm nukleoei eta DDRri karga gehigarria gehitzen baitie grafikoa marrazteko eta pantailan gainjartzeko. perf_stats tresna batez ere dokumentu honetan erakusten diren proba kasu guztietan hardwarearen erabileraren emaitzak biltzeko erabiltzen da. Proba hauetan aztertutako prozesatzeko nukleo eta azeleragailu garrantzitsu batzuk hauek dira: prozesadore nagusiak (lau A53 Arm nukleo @ 1.25GHz), ikaskuntza sakoneko azeleragailua (C7x-MMA @ 850MHz), VPAC (ISP) VISS eta eskalatzaile anitzekoekin (MSC0 eta MSC1), eta DDR eragiketak.

5-1 taulak AM62A lau kamerarekin erabiltzean errendimendua eta baliabideen erabilera erakusten ditu hiru erabilera kasutarako, besteak beste, lau kamera pantaila batera erreproduzitzea, Ethernet bidez erreproduzitzea eta lau kamera bereizitan grabatzea. files. Bi proba ezartzen dira erabilera-kasu bakoitzean: kamerarekin bakarrik eta ikaskuntza sakonaren inferentziarekin. Horrez gain, 5-1 taulako lehen errenkadak hardwarearen erabilerak erakusten ditu sistema eragilea AM62A-n exekutatzen ari zenean, erabiltzaileentzako aplikaziorik gabe. Hau oinarri gisa erabiltzen da beste proba-kasuen hardwarearen erabilerak ebaluatzerakoan alderatzeko. Taulan agertzen den bezala, ikaskuntza sakona eta pantaila-bistaratzedun lau kamerek 30 FPS-tan funtzionatu zuten bakoitzak, guztira 120 FPS lau kamerentzat. Fotograma-tasa altu hau ikaskuntza sakoneko azeleragailuaren (C7x-MMA) gaitasun osoaren % 86arekin bakarrik lortzen da. Horrez gain, garrantzitsua da kontuan izatea ikaskuntza sakoneko azeleragailua 850 MHz-tan erlojutu zela esperimentu hauetan 1000 MHz-tan beharrean, hau da, bere errendimendu maximoaren % 85 inguru.

5-1 taula. AM62Aren errendimendua (FPS) eta baliabideen erabilera 4 IMX219 kamerarekin erabiltzen denean pantaila bistaratzeko, Ethernet erreprodukziorako eta grabaziorako. Files, eta Ikaskuntza Sakoneko Inferentziak egitea

Aplikazioa n	Hodi-eragiketa )	Irteera	FPS batez besteko hodiak	FPS guztira	A53 MPUak @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	BISUA [%]	MSC0 [%]	MSC1 [%]	DDR Ibilbidea [MB/s]	DDR Wr [MB/s]	DDR Guztira [MB/s]
Aplikaziorik ez	Oinarrizko lerroa Eragiketarik ez	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamera bakarrik	Erreka pantailara	Pantaila	30	120	12	12	0	70	61	60	1015	757	1782
	Ethernet bidezko erreprodukzioa	UDP: 4 portuak 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Grabatu to files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Kamera Ikaskuntza sakonarekin	Ikaskuntza sakona: Objektuen detekzioa MobV1- coco	Pantaila	30	120	38	25	86	71	85	82	2926	1676	4602
	Ikaskuntza sakona: Objektuen detekzioa MobV1- coco eta Stream Ethernet bidez	UDP: 4 portuak 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Ikaskuntza sakona: Objektuen detekzioa MobV1- coco eta grabazioa files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Laburpena
Aplikazio-txosten honek AM6x gailuen familian kamera anitzeko aplikazioak nola inplementatu deskribatzen du. Txostenean Arducam-en V3Link Kamera Soluzio Kit-ean eta AM62A SK EVM-n oinarritutako erreferentzia-diseinu bat eskaintzen da, lau IMX219 kamera erabiltzen dituzten hainbat kamera-aplikaziorekin, hala nola streaming-a eta objektuen detekzioa. Erabiltzaileei Arducam-en V3Link Kamera Soluzio Kita erostea eta adibide hauek erreplikatzea gomendatzen zaie.amples. Txostenak AM62Aren errendimenduaren analisi zehatza ere eskaintzen du lau kamera konfigurazio desberdinetan erabiliz, besteak beste, pantailan bistaratzea, Ethernet bidezko streaminga eta grabazioa barne. files. AM62A-k lau kamera-jario paraleloan ikaskuntza sakoneko inferentzia egiteko duen gaitasuna ere erakusten du. Ex hauek exekutatzeari buruzko galderarik baduzu...amples, bidali kontsulta bat TI E2E foroan.

Erreferentziak

AM62A Hastapen Kit EVM Hastapen Azkarreko Gida

ArduCam V3Link Kamera Soluzioaren Hasiera Azkarreko Gida
AM62Arako Edge AI SDK dokumentazioa
AM62A prozesadore eraginkorra erabiltzen duten Edge AI kamera adimendunak

AM62A-ko kamera-ispilu sistemak
AM62A-ko gidarien eta okupazioaren monitorizazio sistemak
Inguruko lau kanaleko kameraren aplikazioa View eta CMS Kamera Sistemak

AM62Ax Linux Academy CIS-2 sentsorea gaitzeari buruz
Edge AI ModelZoo
Edge AI Studio

Perf_stats tresna

Aplikazio-ohar honetan aipatzen diren TI piezak:

https://www.ti.com/product/AM62A7

OHAR GARRANTZITSUA ETA EZESPENA

TIk DATU TEKNIKOAK ETA FIDAGARRITASUNA ESKAINTEN DITU (DATU FITXAK BARNE), DISEINU BALIABIDEAK (ERREFERENTZIAKO DISEINUAK BARNE), APLIKAZIOA EDO BESTELAKO DISEINU AHOLKUAK, WEB TRESNAK, SEGURTASUNTZAKO INFORMAZIOA ETA BESTE BALIABIDE BATZUK “DEN BEZALA” ETA AKATSE GUZTIEKIN, ETA BERME GUZTIEI, ADIERAZKOAK ETA INPLIZITATUAK UKESTEN DITU, MUGA GABE MERKATARITZAREN BERME INPLIZITUAK BARRENA, JABETZA ERAKUNDEAREN HELBURU PARTIKULARI EDO ERABILTZEN EZ DUTEN PROTEKTUAREN ARABERA ERABILTZEKO BERME BATEKIN. .

Baliabide hauek TI produktuekin diseinatzen duten garatzaile trebeentzat dira. Zu zara erantzule bakarra

zure aplikaziorako TI produktu egokiak hautatzea,

zure aplikazioa diseinatzea, balioztatzea eta probatzea, eta
zure aplikazioak aplikagarri diren estandarrak eta beste edozein segurtasun, babes, araudi edo bestelako eskakizun betetzen dituela ziurtatzea.

Baliabide hauek alda daitezke abisurik gabe. TI-k baliabide hauek baliabidean deskribatutako TI produktuak erabiltzen dituen aplikazio bat garatzeko soilik erabiltzen uzten dizu. Baliabide hauen beste erreprodukzio eta bistaratzea debekatuta dago. Ez da TI-ren beste jabetza intelektualaren eskubiderik edo hirugarrenen jabetza intelektualaren eskubiderik lizentziarik ematen. TI-k ez du erantzukizunik hartzen baliabide hauen erabileratik eratorritako erreklamazio, kalte, kostu, galera eta erantzukizunen aurrean, eta zuk guztiz kalte-ordainduko dituzu TI eta bere ordezkariak.

TIren produktuak TIren Salmenta Baldintzen arabera edo eskuragarri dauden beste baldintza batzuen arabera eskaintzen dira ti.com edo TI produktu horiekin batera emandakoak. TIk baliabide hauen hornikuntzak ez ditu TIren produktuei dagozkien bermeak edo bermeen ukapenak zabaltzen edo bestela aldatzen.

TIk proposatutako baldintza gehigarri edo desberdinei aurka egiten die eta baztertzen ditu.

OHAR GARRANTZITSUA

Posta helbidea: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Maiz egiten diren galderak

G: Edozein motatako kamera erabil al dezaket AM6x familiako gailuekin?

AM6x familiak kamera mota desberdinak onartzen ditu, ISP integratua dutenak edo ez dutenak barne. Ikusi zehaztapenak onartzen diren kamera motei buruzko xehetasun gehiago lortzeko.

Zeintzuk dira AM62A eta AM62P arteko desberdintasun nagusiak irudien prozesamenduan?

Aldaera nagusien artean daude onartutako kamera motak, kameraren irteera datuak, ISP HWAren presentzia, Ikaskuntza Sakoneko HWA eta 3-D Grafikoen HWA. Ikusi zehaztapenen atala alderaketa zehatza ikusteko.

Dokumentuak / Baliabideak

Texas Instruments AM6x hainbat kamera garatzen ari da [pdfErabiltzailearen gida
AM62A, AM62P, AM6x Kamera anitzen garapena, AM6x, Kamera anitzen garapena, Kamera anitz, Kamera

Erreferentziak

Erabiltzailearen eskuliburua

Texas Instruments AM6x hainbat kamera garatzen ari da

Zehaztapenak