Texas Instruments -logu

Texas Instruments AM6x chì sviluppa parechje camere

Texas-Instruments-AM6x-Sviluppu-di-pruduttu-di-più-camere

Specificazioni

  • Nome di u produttu: Famiglia di dispositivi AM6x
  • Tipu di camera supportatu: AM62A (Cù o senza ISP integratu), AM62P (Cù ISP integratu)
  • Dati di output di a camera: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
  • ISP HWA: AM62A (Iè), AM62P (Innò)
  • HWA di apprendimentu prufondu: AM62A (Iè), AM62P (Innò)
  • Grafica 3-D HWA: AM62A (Innò), AM62P (Iè)

Introduzione à l'applicazioni multicamera nantu à AM6x:

  • E camere integrate ghjocanu un rolu cruciale in i sistemi di visione muderni.
  • L'usu di parechje camere in un sistema migliora e capacità è permette attività chì ùn sò micca realizabili cù una sola camera.

Applicazioni chì utilizanu parechje camere:

  • Surveglianza di Sicurezza: Migliora a cupertura di surviglianza, u seguimentu di l'uggetti è a precisione di u ricunniscimentu.
  • Circundendu View: Permette a visione stereo per attività cum'è a rilevazione di ostaculi è a manipulazione di oggetti.
  • Registratore di Cabina è Sistema di Specchiu di Camera: Fornisce una copertura estesa è elimina i punti cechi.
  • Imaging Medicu: Offre una precisione mejorata in a navigazione chirurgica è l'endoscopia.
  • Droni è Riprese Aeree: Catturà imagine d'alta risoluzione da diverse angolazioni per diverse applicazioni.

Cunnessione di parechje camere CSI-2 à u SoC:
Per cunnette parechje camere CSI-2 à u SoC, seguitate l'istruzzioni furnite in u manuale d'usu. Assicuratevi un allineamentu è una cunnessione curretta di ogni camera à i porti designati nantu à u SoC.

Nota di l'applicazione
Sviluppà applicazioni multicamera nantu à AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRACT
Stu rapportu descrive u sviluppu di l'applicazione utilizendu parechje camere CSI-2 nantu à a famiglia di dispositivi AM6x. Un cuncepimentu di riferimentu di rilevazione d'uggetti cù apprendimentu prufondu nantu à 4 camere nantu à u SoC AM62A hè presentatu cù analisi di e prestazioni. I principii generali di u cuncepimentu s'applicanu à altri SoC cù una interfaccia CSI-2, cum'è AM62x è AM62P.

Introduzione

E camere integrate ghjocanu un rollu impurtante in i sistemi di visione muderni. L'usu di parechje camere in un sistema espande e capacità di sti sistemi è permette capacità chì ùn sò micca pussibuli cù una sola camera. Quì sottu sò alcuni esempi.ample di applicazioni chì utilizanu parechje camere integrate:

  • Sorveglianza di Sicurezza: Parechje camere piazzate strategicamente furniscenu una copertura di surveglianza cumpleta. Permettenu panoramiche views, riduce i punti cechi è migliurà a precisione di u tracciamentu è di u ricunniscimentu di l'uggetti, migliurendu e misure di sicurezza generale.
  • Circundendu ViewParechje camere sò aduprate per creà una cunfigurazione di visione stereo, chì permette l'infurmazioni tridimensionali è a stima di a prufundità. Questu hè cruciale per compiti cum'è a rilevazione di ostaculi in veiculi autonomi, a manipulazione precisa di l'uggetti in a robotica è u realismu miglioratu di l'esperienze di realtà aumentata.
  • Registratore di Cabina è Sistema di Specchiu di Camera: Un registratore di cabina di vittura cù parechje camere pò furnisce una più grande cupertura aduprendu un solu processore. In listessu modu, un sistema di specchiu di camera cù duie o più camere pò allargà u campu di cuntrollu di u cunduttore. view è eliminà i punti ciechi da tutti i lati di una vittura.
  • Imaging Medicu: Parechje camere ponu esse aduprate in l'imaging medicu per compiti cum'è a navigazione chirurgica, furnendu à i chirurghi parechje perspettive per una precisione mejorata. In endoscopia, parechje camere permettenu un esame approfonditu di l'organi interni.
  • Droni è imaghjini aeree: I droni sò spessu dotati di parechje camere per catturà immagini o video ad alta risoluzione da diverse angolazioni. Questu hè utile in applicazioni cum'è a fotografia aerea, u monitoraghju agriculu è u rilevamentu di u terrenu.
  • Cù l'avanzamentu di i microprocessori, parechje camere ponu esse integrate in un unicu System-on-Chip.
    (SoC) per furnisce suluzioni compatte è efficienti. L'AM62Ax SoC, cù un processamentu video/visione d'alte prestazioni è accelerazione di apprendimentu prufondu, hè un dispositivu ideale per i casi d'usu sopra menzionati. Un altru dispositivu AM6x, l'AM62P, hè custruitu per applicazioni di visualizazione 3D integrate d'alte prestazioni. Equipatu cù accelerazione grafica 3D, l'AM62P pò facilmente unisce l'imagine da parechje camere è pruduce una panoramica d'alta risoluzione. viewE caratteristiche innovative di u SoC AM62A/AM62P sò state presentate in diverse publicazioni, cum'è [4], [5], [6], ecc. Questa nota d'applicazione ùn ripeterà micca e descrizzioni di e caratteristiche, ma si cuncentra invece nantu à l'integrazione di parechje camere CSI-2 in applicazioni di visione integrate in AM62A/AM62P.
  • A tavula 1-1 mostra e principali differenze trà AM62A è AM62P in quantu à u trattamentu di l'imagine.

Tavula 1-1. Differenze trà AM62A è AM62P in u trattamentu di l'imagine

SoC AM62A AM62P
Tipu di camera supportatu Cù o senza un ISP integratu Cù ISP integratu
Dati di output di a camera Raw/YUV/RGB YUV/RGB
FAI HWA Innò
Apprendimentu Profondu HWA Innò
Grafica 3D HWA Innò

Cunnessione di parechje camere CSI-2 à u SoC
U Sottosistema di Camera nantu à u SoC AM6x cuntene i seguenti cumpunenti, cum'è mostratu in a Figura 2-1:

  • Ricevitore MIPI D-PHY: riceve flussi video da camere esterne, supportendu finu à 1.5 Gbps per corsia di dati per 4 corsie.
  • Ricevitore CSI-2 (RX): riceve flussi video da u ricevitore D-PHY è manda direttamente i flussi à l'ISP o scarica i dati in memoria DDR. Stu modulu supporta finu à 16 canali virtuali.
  • SHIM: un wrapper DMA chì permette di mandà i flussi catturati in memoria via DMA. Parechji cuntesti DMA ponu esse creati da questu wrapper, cù ogni cuntestu chì currisponde à un canale virtuale di u Ricevitore CSI-2.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (2)

Parechje camere ponu esse supportate nantu à l'AM6x per mezu di l'usu di canali virtuali di CSI-2 RX, ancu s'ellu ci hè solu una interfaccia CSI-2 RX nantu à u SoC. Un cumpunente aggregatore CSI-2 esternu hè necessariu per cumminà parechji flussi di camere è mandalli à un unicu SoC. Dui tipi di suluzioni aggregatrici CSI-2 ponu esse aduprati, descritti in e sezioni seguenti.

Aggregatore CSI-2 chì usa SerDes
Un modu per cumbinà parechji flussi di càmera hè di utilizà una suluzione di serializazione è deserializazione (SerDes). I dati CSI-2 da ogni càmera sò cunvertiti da un serializatore è trasferiti per mezu di un cavu. U deserializatore riceve tutti i dati serializzati trasferiti da i cavi (un cavu per càmera), cunverte i flussi torna in dati CSI-2, è dopu invia un flussu CSI-2 interfogliatu à l'unica interfaccia CSI-2 RX nantu à u SoC. Ogni flussu di càmera hè identificatu da un canale virtuale unicu. Sta suluzione di aggregazione offre u benefiziu supplementu di permette una cunnessione à longa distanza finu à 15 m da e càmera à u SoC.

I serializzatori è i deserializzatori FPD-Link o V3-Link (SerDes), supportati in l'SDK AM6x Linux, sò e tecnulugie più populari per questu tipu di suluzione d'aggregazione CSI-2. Sia i deserializzatori FPD-Link sia i V3-Link anu canali di ritornu chì ponu esse aduprati per mandà signali di sincronizazione di frame per sincronizà tutte e camere, cum'è spiegatu in [7].
Figura 2-2 mostra un exampl'usu di i SerDes per cunnette parechje camere à un unicu SoC AM6x.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (3)

Un esampUna parte di sta suluzione aggregatrice si pò truvà in u Kit di Soluzione di Camera Arducam V3Link. Stu kit hà un hub deserializzatore chì aggrega 4 flussi di camera CSI-2, è ancu 4 coppie di serializzatori V3link è camere IMX219, cumpresi cavi coassiali FAKRA è cavi FPC à 22 pin. U disignu di riferimentu discussu dopu hè custruitu nantu à stu kit.

Aggregatore CSI-2 senza aduprà SerDes
Stu tipu d'aggregatore pò interagisce direttamente cù parechje camere MIPI CSI-2 è aggregà i dati di tutte e camere à un unicu flussu di output CSI-2.

Figura 2-3 mostra un exampdi un tale sistema. Stu tipu di suluzione d'aggregazione ùn usa micca alcun serializzatore/deserializzatore, ma hè limitatu da a distanza massima di trasferimentu di dati CSI-2, chì hè finu à 30 cm. L'SDK Linux AM6x ùn supporta micca stu tipu d'aggregatore CSI-2.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (4)

Attivazione di parechje camere in u software

Architettura di u Software di u Sottosistema di Camera
A figura 3-1 mostra un diagramma à blocchi d'altu livellu di u software di u sistema di cattura di a camera in AM62A/AM62P Linux SDK, chì currisponde à u sistema HW in a Figura 2-2.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (5)

  • Questa architettura software permette à u SoC di riceve parechji flussi di camera cù l'usu di SerDes, cum'è mostratu in a Figura 2-2. U SerDes FPD-Link/V3-Link assigna un indirizzu I2C unicu è un canale virtuale à ogni camera. Una sovrapposizione unica di l'arburu di u dispositivu deve esse creata cù l'indirizzu I2C unicu per ogni camera. U driver CSI-2 RX ricunnosce ogni camera utilizendu u numeru di canale virtuale unicu è crea un cuntestu DMA per flussu di camera. Un nodu video hè creatu per ogni cuntestu DMA. I dati da ogni camera sò tandu ricevuti è almacenati utilizendu DMA in a memoria in cunsequenza. L'applicazioni di u spaziu utilizatore utilizanu i nodi video currispondenti à ogni camera per accede à i dati di a camera. Es.ampI metudi d'usu di st'architettura software sò dati in u Capitulu 4 - Cuncepimentu di Referenza.
  • Ogni driver di sensore specificu chì hè cumpatibile cù u framework V4L2 pò esse plug and play in questa architettura. Riferitevi à [8] per sapè cumu integrà un novu driver di sensore in u SDK Linux.

Architettura di Software di Pipeline d'Imagine

  • L'SDK AM6x Linux furnisce u framework GStreamer (GST), chì pò esse adupratu in u spaziu ser per integrà i cumpunenti di trasfurmazione d'imagine per diverse applicazioni. L'Acceleratori Hardware (HWA) nantu à u SoC, cum'è l'Acceleratore di Pre-prucessamentu di Visione (VPAC) o ISP, u codificatore/decodificatore video è u mutore di calculu di apprendimentu prufondu, sò accessibili via GST. pluginsU VPAC (ISP) stessu hà parechji blocchi, cumpresi Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) è Multiscalar (MSC), ognunu currispondente à un plugin GST.
  • A figura 3-2 mostra u diagramma à blocchi di una tipica pipeline d'imagine da a camera à a codificazione o à a registrazione prufonda.
    applicazioni di apprendimentu nantu à AM62A. Per più dettagli nantu à u flussu di dati end-to-end, riferitevi à a ducumentazione di EdgeAI SDK.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (6)

Per AM62P, u pipeline d'imagine hè più simplice perchè ùn ci hè micca ISP nant'à AM62P.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (7)

Cù un nodu video creatu per ognuna di e camere, a pipeline d'imagine basata annantu à GStreamer permette u trattamentu di parechje entrate di camera (cunnesse attraversu a stessa interfaccia CSI-2 RX) simultaneamente. Un cuncepimentu di riferimentu chì usa GStreamer per applicazioni multi-camera hè datu in u prossimu capitulu.

Disegnu di riferimentu

Stu capitulu prisenta un cuncepimentu di riferimentu per l'esecuzione di applicazioni multicamera nantu à AM62A EVM, utilizendu l'Arducam V3Link Camera Solution Kit per cunnette 4 camere CSI-2 à AM62A è eseguendu a rilevazione d'uggetti per tutte e 4 camere.

Fotocamere supportate
U kit Arducam V3Link funziona sia cù e camere basate nantu à FPD-Link/V3-Link sia cù e camere CSI-2 cumpatibili cù Raspberry Pi. E camere seguenti sò state testate:

  • Ingegneria D3 D3RCM-IMX390-953
  • Leopard Imaging LI-OV2312-FPDLINKIII-110H
  • Telecamere IMX219 in u Kit di Soluzione di Telecamere Arducam V3Link

Configurazione di quattru camere IMX219
Segui l'istruzzioni furnite in a Guida di Partenza Rapida di u Kit di Principiante AM62A EVM per cunfigurà l'SK-AM62A-LP EVM (AM62A SK) è a Guida di Partenza Rapida di a Soluzione di Camera ArduCam V3Link per cunnette e camere à AM62A SK attraversu u kit V3Link. Assicuratevi chì i pin di i cavi flessibili, e camere, a scheda V3Link è AM62A SK sianu tutti allineati currettamente.

A figura 4-1 mostra a cunfigurazione aduprata per u disignu di riferimentu in questu rapportu. I cumpunenti principali di a cunfigurazione includenu:

  • 1X SK-AM62A-LP scheda EVM
  • 1X scheda adattatore Arducam V3Link d-ch
  • Cavu FPC chì cunnetta Arducam V3Link à SK-AM62A
  • 4 adattatori di camera V3Link (serializatori)
  • 4 cavi coassiali RF per cunnette i serializzatori V3Link à u kit d-ch V3Link
  • 4X Telecamere IMX219
  • 4X Cavi CSI-2 à 22 pin per cunnette e camere à i serializatori
  • Cavi: cavu HDMI, USB-C per alimentà SK-AM62A-LP è alimentazione 12V per u kit V3Link d-ch)
  • Altri cumpunenti micca mostrati in a Figura 4-1: carta micro-SD, cavu micro-USB per accede à SK-AM62A-LP, è Ethernet per u streaming

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (8)

Cunfigurazione di e camere è di l'interfaccia CSI-2 RX
Cunfigurate u software secondu l'istruzzioni furnite in a Guida di partenza rapida Arducam V3Link. Dopu avè eseguitu u script di cunfigurazione di a camera, setup-imx219.sh, u furmatu di a camera, u furmatu di l'interfaccia CSI-2 RX, è i percorsi da ogni camera à u nodu video currispundente saranu cunfigurati currettamente. Quattru nodi video sò creati per e quattru camere IMX219. U cumandamentu "v4l2-ctl –list-devices" visualizza tutti i dispositivi video V4L2, cum'è mostratu quì sottu:

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (9)

Ci sò 6 nodi video è 1 nodu media sottu à tiscsi2rx. Ogni nodu video currisponde à un cuntestu DMA assignatu da u driver CSI2 RX. Di i 6 nodi video, 4 sò aduprati per e 4 camere IMX219, cum'è mostratu in a topologia di u pipe media quì sottu:

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (10)

Cum'è mostratu sopra, l'entità media 30102000.ticsi2rx hà 6 pads di fonte, ma solu i primi 4 sò aduprati, ognunu per un IMX219. A topologia di u pipe media pò ancu esse illustrata graficamente. Eseguite u cumandamentu seguente per generà un puntu. file:

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (11)

Dopu eseguite u cumandamentu quì sottu nantu à un PC host Linux per generà un PNG. file:Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (12)

A figura 4-2 hè una maghjina generata cù i cumandamenti dati sopra. I cumpunenti di l'architettura di u software di a figura 3-1 si ponu truvà in questu graficu.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (13)

Streaming da quattru camere
Cù l'hardware è u software cunfigurati currettamente, l'applicazioni multicamera ponu esse eseguite da u spaziu utilizatore. Per AM62A, l'ISP deve esse sintonizatu per pruduce una bona qualità d'immagine. Consultate a Guida di sintonizazione di l'ISP AM6xA per sapè cumu eseguisce a sintonizazione di l'ISP. E sezioni seguenti presentanu esempi.ample di trasmissione in streaming di dati di camera à un display, trasmissione in streaming di dati di camera à una rete è almacenamentu di i dati di camera à files.

Trasmissione di dati di a camera à u display
Un'applicazione basica di stu sistema multicamera hè di trasmette in streaming i video da tutte e camere à un display cunnessu à u listessu SoC. Quì sottu hè un esempiu di pipeline GStreamer.ampdi trasmette in streaming quattru IMX219 à un display (i numeri di nodi video è i numeri v4l-subdev in u pipeline cambieranu probabilmente da riavviu à riavviu).

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (14) Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (15)

Streaming di dati di a camera via Ethernet
Invece di trasmette in streaming à un display cunnessu à u listessu SoC, i dati di a camera ponu ancu esse trasmessi in streaming via Ethernet. U latu ricevente pò esse un altru processore AM62A/AM62P o un PC host. Quì sottu hè un esempiu.ampu modu di trasmette i dati di a camera attraversu l'Ethernet (usendu duie camere per simplicità) (nota u plugin di codificatore utilizatu in u pipeline):

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (16)

U seguitu hè un exampmodu di riceve i dati di a camera è di trasmetteli in streaming à un display nantu à un altru processore AM62A/AM62P:

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (17)

Archiviazione di i dati di a camera in Files
Invece di trasmette in streaming à un display o per mezu di una rete, i dati di a camera ponu esse almacenati in locu files. U pipeline quì sottu memorizza i dati di ogni camera in un file (usendu duie camere cum'è exampper simplicità).

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (18)Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (19)

Inferenza di Apprendimentu Profondu Multicamera

AM62A hè dotatu di un acceleratore di apprendimentu prufondu (C7x-MMA) cù finu à dui TOPS, chì sò capaci di eseguisce diversi tipi di mudelli di apprendimentu prufondu per a classificazione, a rilevazione di l'uggetti, a segmentazione semantica è assai di più. Sta sezione mostra cumu AM62A pò eseguisce simultaneamente quattru mudelli di apprendimentu prufondu nantu à quattru feed di càmera diversi.

Selezzione di mudelli
EdgeAI-ModelZoo di TI furnisce centinaie di mudelli d'avanguardia, chì sò cunvertiti/esportati da i so quadri di furmazione uriginali in un furmatu integratu in modu da pudè esse scaricati à l'acceleratore di apprendimentu prufondu C7x-MMA. L'analizatore di mudelli Edge AI Studio basatu annantu à u cloud furnisce un strumentu di "selezzione di mudelli" faciule da aduprà. Hè aggiornatu dinamicamente per include tutti i mudelli supportati in TI EdgeAI-ModelZoo. U strumentu ùn richiede micca sperienza precedente è furnisce una interfaccia faciule da aduprà per inserisce e funzioni richieste in u mudellu desideratu.

U TFL-OD-2000-ssd-mobV1-coco-mlperf hè statu sceltu per questu esperimentu di apprendimentu prufondu multicamera. Stu mudellu di rilevazione multi-uggetti hè sviluppatu in u framework TensorFlow cù una risoluzione d'ingressu di 300 × 300. A Tavula 4-1 mostra e caratteristiche impurtanti di stu mudellu quandu hè furmatu nantu à u dataset cCOCO cù circa 80 classi diverse.

Tavula 4-1. Caratteristiche principali di u mudellu TFL-OD-2000-ssd-mobV1-coco-mlperf.

Mudellu Task Risoluzione FPS mAP 50%

Precisione nantu à COCO

Latenza/Frame (ms) DDR BW

Utilizazione (MB/Frame)

TFL-OD-2000-ssd-

mobV1-coco-mlperf

Rilevazione di più oggetti 300 × 300 ~ 152 15.9 6.5 18.839

Cunfigurazione di a Pipeline
A figura 4-3 mostra a pipeline di apprendimentu prufondu GStreamer à 4 camere. TI furnisce una suite di GStreamer plugins chì permettenu di scaricà una parte di u trattamentu di i media è di l'inferenza di apprendimentu prufondu à l'acceleratori hardware. Certi examples di questi plugins includenu tiovxisp, tiovxmultiscaler, tiovxmosaic, è tidlinferer. A pipeline in a Figura 4-3 include tutti i requisiti plugins per una pipeline GStreamer multipath per input di 4 camere, ognunu cù preprocessu multimediale, inferenza di apprendimentu prufondu è postprocessu. U duplicatu plugins per ognuna di e percorsi di a camera sò impilati in u graficu per una dimostrazione più faciule.
E risorse hardware dispunibili sò distribuite uniformemente trà i quattru percorsi di e camere. Per esempiu, AM62A cuntene dui multiscaler d'imagine: MSC0 è MSC1. U pipeline dedica esplicitamente MSC0 à u prucessu di i percorsi di e camere 1 è 2, mentre chì MSC1 hè dedicatu à e camere 3 è 4.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (21)

L'output di i quattru pipelines di e camere hè riduttu è concatenatu inseme cù u plugin tiovxmosaic. L'output hè visualizatu nantu à un unicu schermu. A Figura 4-4 mostra l'output di e quattru camere cù un mudellu di apprendimentu prufondu chì esegue a rilevazione di l'uggetti. Ogni pipeline (camera) funziona à 30 FPS è un totale di 120 FPS.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (22)

Dopu hè u script di pipeline cumpletu per u casu d'usu di deep learning multicamera mostratu in a Figura 4-3.

Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (23) Texas-Instruments-AM6x-Sviluppu-Diverse-Camere-fig- (24)

Analisi di u rendiment

A cunfigurazione cù quattru camere chì utilizanu a scheda V3Link è l'AM62A SK hè stata testata in diversi scenarii d'applicazione, cumprese a visualizazione diretta nantu à un schermu, u streaming via Ethernet (quattru canali UDP), a registrazione in 4 canali separati. files, è cù inferenza di apprendimentu prufondu. In ogni esperimentu, avemu monitoratu a frequenza di fotogrammi è l'utilizazione di i core di a CPU per esplorà e capacità di tuttu u sistema.

Cum'è mostratu prima in a Figura 4-4, u pipeline di apprendimentu prufondu usa u plugin tiperfoverlay GStreamer per mustrà i carichi di u core di a CPU cum'è un graficu à barre in fondu à u screnu. Per difettu, u graficu hè aghjurnatu ogni dui secondi per mustrà i carichi cum'è una percentuale di utilizzazione.tage. In più di u plugin tiperfoverlay GStreamer, u strumentu perf_stats hè una seconda opzione per mustrà e prestazioni di u core direttamente nantu à u terminal cù una opzione per salvà in un fileStu strumentu hè più precisu paragunatu à u tTiperfoverlays postu chì quest'ultimu aghjusta un caricu supplementu nantu à i core ARMm è a DDR per disegnà u graficu è sovrapponelu à u screnu. U strumentu perf_stats hè principalmente utilizatu per raccoglie i risultati di l'utilizazione di l'hardware in tutti i casi di test mostrati in questu documentu. Alcuni di i core di trasfurmazione è acceleratori impurtanti studiati in questi testi includenu i processori principali (quattru core A53 Arm à 1.25 GHz), l'acceleratore di apprendimentu prufondu (C7x-MMA à 850 MHz), u VPAC (ISP) cù VISS è multiscaler (MSC0 è MSC1), è l'operazioni DDR.

A Tavula 5-1 mostra e prestazioni è l'utilizazione di e risorse quandu si usa AM62A cù quattru camere per trè casi d'usu, cumprese a trasmissione in streaming di quattru camere à un display, a trasmissione in streaming via Ethernet è a registrazione à quattru dispositivi separati. files. Dui testi sò implementati in ogni casu d'usu: solu cù a camera è cù l'inferenza di apprendimentu prufondu. Inoltre, a prima riga in a Tavula 5-1 mostra l'utilizazione di l'hardware quandu solu u sistema operativu era in esecuzione nantu à AM62A senza alcuna applicazione d'utilizatore. Questu hè adupratu cum'è una basa per paragunà quandu si valutanu l'utilizazione di l'hardware di l'altri casi di test. Cum'è mostratu in a tavula, e quattru camere cù apprendimentu prufondu è visualizazione di u schermu anu operatu à 30 FPS ognuna, cù un totale di 120 FPS per e quattru camere. Questa alta frequenza di fotogrammi hè ottenuta cù solu l'86% di a piena capacità di l'acceleratore di apprendimentu prufondu (C7x-MMA). Inoltre, hè impurtante nutà chì l'acceleratore di apprendimentu prufondu hè statu clockatu à 850 MHz invece di 1000 MHz in questi esperimenti, chì hè circa solu l'85% di a so prestazione massima.

Tavula 5-1. Prestazioni (FPS) è Utilizazione di e Risorse di AM62A quandu hè utilizatu cù 4 Telecamere IMX219 per a Visualizzazione di u Schermu, u Flussu Ethernet, a Registrazione à Files, è Esecuzione di Inferenze di Apprendimentu Profondu

Applicazione n Pipeline (operazione)

)

Output FPS pipeline medie FPS

tutale

MPU A53s @ 1.25

GHz [%]

MCU R5 [%] DLA (C7x-MMA) @ 850

MHz [%]

VISS [%] MSC0 [%] MSC1 [%] DDR

Rd [MB/s]

DDR

Wr [MB/s]

DDR

Tutale [MB/s]

Nisuna Applicazione Linea di basa Nisuna operazione NA NA NA 1.87 1 0 0 0 0 560 19 579
Camera solu Stream à u schermu Screen 30 120 12 12 0 70 61 60 1015 757 1782
Trasmissione in streaming via Ethernet UDP: 4

porti 1920 × 1080

30 120 23 6 0 70 0 0 2071 1390 3461
Record à files 4 file1920 × 1080 30 120 25 3 0 70 0 0 2100 1403 3503
Cam cù l'apprendimentu prufondu Apprendimentu prufondu: Rilevazione d'uggetti MobV1- coco Screen 30 120 38 25 86 71 85 82 2926 1676 4602
Apprendimentu prufondu: Rilevazione d'uggetti MobV1- coco è Stream via Ethernet UDP: 4

porti 1920 × 1080

28 112 84 20 99 66 65 72 4157 2563 6720
Apprendimentu prufondu: Rilevazione d'uggetti MobV1- coco è registrazione à files 4 file1920 × 1080 28 112 87 22 98 75 82 61 2024 2458 6482

Riassuntu
Stu rapportu d'applicazione descrive cumu implementà applicazioni multi-camera nantu à a famiglia di dispositivi AM6x. Un cuncepimentu di riferimentu basatu annantu à u Kit di Soluzione di Camera V3Link di Arducam è AM62A SK EVM hè furnitu in u rapportu, cù parechje applicazioni di camera chì utilizanu quattru camere IMX219, cum'è streaming è rilevazione d'uggetti. L'utilizatori sò incuraghjiti à acquistà u Kit di Soluzione di Camera V3Link da Arducam è à replicà questi esempi.amples. U rapportu furnisce ancu un'analisi dettagliata di e prestazioni di AM62A mentre usa quattru camere sottu diverse cunfigurazioni, cumprese a visualizazione nantu à un schermu, u streaming via Ethernet è a registrazione à files. Mostra ancu a capacità di AM62A di fà inferenze di apprendimentu prufondu nantu à quattru flussi di càmera separati in parallelu. Sè ci sò qualchì quistione nantu à l'esecuzione di sti examples, mandate una dumanda à u foru TI E2E.

Referenze

  1. Kit di partenza AM62A Guida di partenza rapida EVM
  2. Guida di avvio rapidu di a soluzione di camera ArduCam V3Link
  3. Documentazione di u SDK Edge AI per AM62A
  4. Telecamere intelligenti Edge AI chì utilizanu un processore AM62A à risparmiu energeticu
  5. Sistemi di specchiu di càmera nantu à AM62A
  6. Sistemi di Monitoraghju di u Cunduttore è di l'Occupazione nantu à AM62A
  7. Applicazione di camera à quattru canali per Surround View è Sistemi di Telecamere CMS
  8. Accademia AM62Ax Linux nantu à l'attivazione di u sensore CIS-2
  9. ModelZoo di l'IA di Edge
  10. Edge AI Studio
  11. Strumentu Perf_stats

Parti TI citate in questa nota d'applicazione:

AVVISU IMPORTANTE È DISCLAIMER

TI FORNISCE DATI TECNICHE È AFFIDABILITÀ (COMPRESE SCHEDE DI DATI), RISORSE DI DISEGNO (INCLUSI DISEGNI DI RIFERIMENTO), APPLICAZIONE O ALTRI CONSIGLI DI DISEGNO, WEB STRUMENTI, INFORMAZIONI DI SICUREZZA, E ALTRE RISORSE "COME SO" È CON TUTTI DIFETTI, E DECLINA TUTTE LE GARANTIE, ESPRESSE E IMPLICITE, INCLUDE SENZA LIMITAZIONI QUALSIASI GARANZIA IMPLICITA DI COMMERCIABILITÀ, IDONEITÀ PER UN SCOPO PARTICOLARE O PROPRIETÀ NON PARTICULARI DI PROPRIETÀ DI PROPRIETÀ. .

Queste risorse sò destinate à sviluppatori qualificati chì progettanu cù i prudutti TI. Sò solu rispunsevuli di

  1. selezziunate i prudutti TI adattati per a vostra applicazione,
  2. cuncepimentu, validazione, è pruvà a vostra applicazione, è
  3. assicurandu chì a vostra applicazione rispetta i standard applicabili, è qualsiasi altri requisiti di sicurezza, prutezzione, regulatori o altri requisiti.

Queste risorse sò sottumesse à cambiamenti senza preavvisu. TI vi permette di utilizà queste risorse solu per u sviluppu di una applicazione chì usa i prudutti TI descritti in a risorsa. L'altra riproduzione è visualizazione di queste risorse hè pruibita. Nisuna licenza hè cuncessa à qualsiasi altru dirittu di pruprietà intellettuale di TI o à qualsiasi dirittu di pruprietà intellettuale di terze parti. TI declina ogni responsabilità per, è indennizzerete cumpletamente TI è i so rapprisentanti contr'à, qualsiasi reclamu, dannu, costu, perdita è responsabilità derivanti da u vostru usu di queste risorse.

I prudutti di TI sò furniti sottumessi à i Termini di Vendita di TI o altri termini applicabili dispunibuli sia nantu ti.com o furnitu in cunghjunzione cù tali prudutti TI. A prestazione di TI di queste risorse ùn espande micca o altera altrimenti e garanzie applicabili di TI o disclaimers di garanzia per i prudutti TI.

TI s'oppone è rifiuta qualsiasi termini supplementari o diffirenti chì pudete avè prupostu.

AVVISU IMPORTANTE

  • Indirizzu postale: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
  • Copyright © 2024, Texas Instruments Incorporated

Domande Frequenti

D: Possu aduprà qualsiasi tipu di camera cù a famiglia di dispositivi AM6x?

A famiglia AM6x supporta diversi tipi di camere, cumprese quelle cù o senza ISP integratu. Riferitevi à e specifiche per più dettagli nantu à i tipi di camere supportati.

Quali sò e principali differenze trà AM62A è AM62P in u trattamentu di l'imagine ?

E variazioni chjave includenu i tipi di càmera supportati, i dati di output di a càmera, a presenza di ISP HWA, Deep Learning HWA è 3-D Graphics HWA. Riferitevi à a sezzione di e specifiche per una paragone dettagliata.

 

Documenti / Risorse

Texas Instruments AM6x chì sviluppa parechje camere [pdfGuida di l'utente
AM62A, AM62P, AM6x Sviluppu di Parechje Camere, AM6x, Sviluppu di Parechje Camere, Parechje Camere, Camera

Referenze

Lascia un cumentu

U vostru indirizzu email ùn serà micca publicatu. I campi obbligatori sò marcati *