Texas Instruments AM6x sviluppa più telecamere
Specifiche
- Nome prodotto: famiglia di dispositivi AM6x
- Tipo di telecamera supportata: AM62A (con o senza ISP integrato), AM62P (con ISP integrato)
- Dati di uscita della fotocamera: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- ISP HWA: AM62A (Sì), AM62P (No)
- Deep Learning HWA: AM62A (Sì), AM62P (No)
- Grafica 3D HWA: AM62A (No), AM62P (Sì)
Introduzione alle applicazioni multi-camera su AM6x:
- Le telecamere integrate svolgono un ruolo cruciale nei moderni sistemi di visione.
- L'utilizzo di più telecamere in un sistema aumenta le capacità e consente di svolgere attività non realizzabili con una singola telecamera.
Applicazioni che utilizzano più telecamere:
- Sorveglianza di sicurezza: Migliora la copertura di sorveglianza, il tracciamento degli oggetti e la precisione del riconoscimento.
- Circondare View: Consente la visione stereoscopica per attività quali il rilevamento di ostacoli e la manipolazione di oggetti.
- Sistema di registrazione della cabina e specchio con telecamera: Offre una copertura estesa ed elimina i punti ciechi.
- Immagini mediche: Offre una maggiore precisione nella navigazione chirurgica e nell'endoscopia.
- Droni e immagini aeree: Cattura immagini ad alta risoluzione da diverse angolazioni per varie applicazioni.
Collegamento di più telecamere CSI-2 al SoC:
Per collegare più telecamere CSI-2 al SoC, seguire le linee guida fornite nel manuale utente. Assicurarsi che ciascuna telecamera sia correttamente allineata e collegata alle porte designate sul SoC.
Nota applicativa
Sviluppo di applicazioni multi-camera su AM6x
Jianzhong Xu, Qutaiba Saleh
ASTRATTO
Questo rapporto descrive lo sviluppo di applicazioni utilizzando più telecamere CSI-2 sulla famiglia di dispositivi AM6x. Viene presentato un progetto di riferimento per il rilevamento di oggetti con deep learning su 4 telecamere sul SoC AM62A, corredato da un'analisi delle prestazioni. I principi generali del progetto si applicano ad altri SoC con interfaccia CSI-2, come AM62x e AM62P.
Introduzione
Le telecamere integrate svolgono un ruolo importante nei moderni sistemi di visione. L'utilizzo di più telecamere in un sistema ne amplia le capacità e consente funzionalità che non sono possibili con una singola telecamera. Di seguito sono riportati alcuni esempi.amples di applicazioni che utilizzano più telecamere integrate:
- Sorveglianza di sicurezza: più telecamere posizionate strategicamente forniscono una copertura di sorveglianza completa. Consentono una visione panoramica views, riducono gli angoli ciechi e migliorano la precisione del tracciamento e del riconoscimento degli oggetti, migliorando le misure di sicurezza generali.
- Circondare View: Vengono utilizzate più telecamere per creare una configurazione di visione stereoscopica, consentendo informazioni tridimensionali e la stima della profondità. Questo è fondamentale per attività come il rilevamento di ostacoli nei veicoli autonomi, la manipolazione precisa di oggetti nella robotica e il realismo migliorato delle esperienze di realtà aumentata.
- Sistema di registrazione in cabina e specchietto retrovisore con telecamera: un sistema di registrazione in cabina con più telecamere può fornire una maggiore copertura utilizzando un singolo processore. Allo stesso modo, un sistema di specchietti retrovisori con due o più telecamere può ampliare il campo visivo del conducente. view ed eliminare gli angoli ciechi da tutti i lati dell'auto.
- Imaging medico: nell'imaging medico è possibile utilizzare più telecamere per attività come la navigazione chirurgica, offrendo ai chirurghi prospettive multiple per una maggiore precisione. In endoscopia, più telecamere consentono un esame approfondito degli organi interni.
- Droni e immagini aeree: i droni sono spesso dotati di più telecamere per catturare immagini o video ad alta risoluzione da diverse angolazioni. Questa caratteristica è utile in applicazioni come la fotografia aerea, il monitoraggio agricolo e la topografia.
- Grazie al progresso dei microprocessori, è possibile integrare più telecamere in un unico System-on-Chip.
(SoC) per fornire soluzioni compatte ed efficienti. Il SoC AM62Ax, con elaborazione video/visione ad alte prestazioni e accelerazione del deep learning, è un dispositivo ideale per i casi d'uso sopra menzionati. Un altro dispositivo AM6x, l'AM62P, è progettato per applicazioni di visualizzazione 3D embedded ad alte prestazioni. Dotato di accelerazione grafica 3D, l'AM62P può facilmente unire le immagini provenienti da più telecamere e produrre un'immagine panoramica ad alta risoluzione. viewLe caratteristiche innovative del SoC AM62A/AM62P sono state presentate in varie pubblicazioni, come [4], [5], [6], ecc. Questa nota applicativa non ripeterà le descrizioni di tali caratteristiche, ma si concentrerà invece sull'integrazione di più telecamere CSI-2 in applicazioni di visione embedded su AM62A/AM62P. - Nella tabella 1-1 sono illustrate le principali differenze tra AM62A e AM62P per quanto riguarda l'elaborazione delle immagini.
Tabella 1-1. Differenze tra AM62A e AM62P nell'elaborazione delle immagini
SoC | Modello AM62A | AM62P |
Tipo di fotocamera supportato | Con o senza ISP integrato | Con ISP integrato |
Dati di uscita della fotocamera | Raw/YUV/RGB | YUV/RGB |
ISP HWA | SÌ | NO |
Apprendimento profondo HWA | SÌ | NO |
Grafica 3D HWA | NO | SÌ |
Collegamento di più telecamere CSI-2 al SoC
Il sottosistema della fotocamera sul SoC AM6x contiene i seguenti componenti, come mostrato nella Figura 2-1:
- Ricevitore MIPI D-PHY: riceve flussi video da telecamere esterne, supportando fino a 1.5 Gbps per corsia dati per 4 corsie.
- Ricevitore CSI-2 (RX): riceve flussi video dal ricevitore D-PHY e li invia direttamente all'ISP o li scarica nella memoria DDR. Questo modulo supporta fino a 16 canali virtuali.
- SHIM: un wrapper DMA che consente l'invio dei flussi acquisiti alla memoria tramite DMA. Questo wrapper può creare più contesti DMA, ciascuno dei quali corrisponde a un canale virtuale del ricevitore CSI-2.
L'AM6x supporta più telecamere tramite l'utilizzo di canali virtuali CSI-2 RX, nonostante il SoC disponga di una sola interfaccia CSI-2 RX. Per combinare più flussi di telecamere e inviarli a un singolo SoC, è necessario un componente di aggregazione CSI-2 esterno. È possibile utilizzare due tipi di soluzioni di aggregazione CSI-2, descritte nelle sezioni seguenti.
Aggregatore CSI-2 che utilizza SerDes
Un modo per combinare più flussi di telecamere è utilizzare una soluzione di serializzazione e deserializzazione (SerDes). I dati CSI-2 di ciascuna telecamera vengono convertiti da un serializzatore e trasferiti tramite un cavo. Il deserializzatore riceve tutti i dati serializzati trasferiti dai cavi (un cavo per telecamera), riconverte i flussi in dati CSI-2 e quindi invia un flusso CSI-2 interlacciato all'unica interfaccia CSI-2 RX sul SoC. Ogni flusso di telecamera è identificato da un canale virtuale univoco. Questa soluzione di aggregazione offre l'ulteriore vantaggio di consentire connessioni a lunga distanza fino a 15 m dalle telecamere al SoC.
I serializzatori e deserializzatori FPD-Link o V3-Link (SerDes), supportati nell'SDK Linux AM6x, sono le tecnologie più diffuse per questo tipo di soluzione di aggregazione CSI-2. Entrambi i deserializzatori FPD-Link e V3-Link dispongono di canali posteriori che possono essere utilizzati per inviare segnali di sincronizzazione dei frame per sincronizzare tutte le telecamere, come spiegato in [7].
La Figura 2-2 mostra un exampdi utilizzare SerDes per collegare più telecamere a un singolo SoC AM6x.
un exampUn esempio di questa soluzione di aggregazione è disponibile nel kit Arducam V3Link Camera Solution. Questo kit include un hub deserializzatore che aggrega 4 flussi di telecamere CSI-2, nonché 4 coppie di serializzatori V3link e telecamere IMX219, inclusi cavi coassiali FAKRA e cavi FPC a 22 pin. Il progetto di riferimento discusso più avanti è basato su questo kit.
Aggregatore CSI-2 senza usare SerDes
Questo tipo di aggregatore può interfacciarsi direttamente con più telecamere MIPI CSI-2 e aggregare i dati di tutte le telecamere in un unico flusso di output CSI-2.
La Figura 2-3 mostra un example di un tale sistema. Questo tipo di soluzione di aggregazione non utilizza alcun serializzatore/deserializzatore, ma è limitato dalla distanza massima di trasferimento dati CSI-2, che può arrivare fino a 30 cm. L'SDK Linux AM6x non supporta questo tipo di aggregatore CSI-2.
Abilitazione di più telecamere nel software
Architettura software del sottosistema della telecamera
La Figura 3-1 mostra un diagramma a blocchi di alto livello del software del sistema di acquisizione della telecamera in AM62A/AM62P Linux SDK, corrispondente al sistema HW nella Figura 2-2.
- Questa architettura software consente al SoC di ricevere flussi di più telecamere tramite SerDes, come mostrato nella Figura 2-2. Il SerDes FPD-Link/V3-Link assegna un indirizzo I²C e un canale virtuale univoci a ciascuna telecamera. È necessario creare un overlay univoco dell'albero dei dispositivi con l'indirizzo I²C univoco per ogni telecamera. Il driver CSI-2 RX riconosce ciascuna telecamera utilizzando il numero univoco del canale virtuale e crea un contesto DMA per ogni flusso di telecamera. Viene creato un nodo video per ogni contesto DMA. I dati di ciascuna telecamera vengono quindi ricevuti e memorizzati tramite DMA nella memoria di conseguenza. Le applicazioni in spazio utente utilizzano i nodi video corrispondenti a ciascuna telecamera per accedere ai dati della telecamera. Ad esempioampI dettagli sull'utilizzo di questa architettura software sono forniti nel Capitolo 4 – Progettazione di riferimento.
- Qualsiasi driver di sensore specifico compatibile con il framework V4L2 può essere integrato in questa architettura. Fare riferimento a [8] per informazioni su come integrare un nuovo driver di sensore nell'SDK Linux.
Architettura software della pipeline di immagini
- L'AM6x Linux SDK fornisce il framework GStreamer (GST), che può essere utilizzato nello spazio server per integrare i componenti di elaborazione delle immagini per varie applicazioni. Gli acceleratori hardware (HWA) sul SoC, come il Vision Pre-processing Accelerator (VPAC) o ISP, il codificatore/decodificatore video e il motore di calcolo per il deep learning, sono accessibili tramite GST. pluginsIl VPAC (ISP) stesso è costituito da più blocchi, tra cui Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) e Multiscalar (MSC), ognuno dei quali corrisponde a un plugin GST.
- La figura 3-2 mostra il diagramma a blocchi di una tipica pipeline di immagini dalla telecamera alla codifica o alla deep
applicazioni di apprendimento su AM62A. Per maggiori dettagli sul flusso di dati end-to-end, consultare la documentazione dell'SDK EdgeAI.
Per AM62P, la pipeline delle immagini è più semplice perché non è presente alcun ISP su AM62P.
Grazie alla creazione di un nodo video per ciascuna telecamera, la pipeline di immagini basata su GStreamer consente l'elaborazione simultanea di più ingressi di telecamera (collegati tramite la stessa interfaccia CSI-2 RX). Nel prossimo capitolo verrà presentato un progetto di riferimento che utilizza GStreamer per applicazioni multi-telecamera.
Progetto di riferimento
In questo capitolo viene presentato un progetto di riferimento per l'esecuzione di applicazioni multi-camera su AM62A EVM, utilizzando l'Arducam V3Link Camera Solution Kit per collegare 4 telecamere CSI-2 ad AM62A ed eseguendo il rilevamento degli oggetti per tutte e 4 le telecamere.
Fotocamere supportate
Il kit Arducam V3Link funziona sia con telecamere basate su FPD-Link/V3-Link sia con telecamere CSI-2 compatibili con Raspberry Pi. Sono state testate le seguenti telecamere:
- D3 Ingegneria D3RCM-IMX390-953
- Leopard Imaging LI-OV2312-FPDLINKIII-110H
- Telecamere IMX219 nel kit di soluzioni per telecamere Arducam V3Link
Configurazione di quattro telecamere IMX219
Seguire le istruzioni fornite nella Guida rapida all'avvio del kit EVM AM62A per configurare SK-AM62A-LP EVM (AM62A SK) e la Guida rapida all'avvio della soluzione telecamera ArduCam V3Link per collegare le telecamere all'AM62A SK tramite il kit V3Link. Assicurarsi che i pin sui cavi flessibili, sulle telecamere, sulla scheda V3Link e sull'AM62A SK siano tutti allineati correttamente.
La Figura 4-1 mostra la configurazione utilizzata per il progetto di riferimento in questo rapporto. I componenti principali della configurazione includono:
- 1 scheda EVM SK-AM62A-LP
- 1X scheda adattatore Arducam V3Link d-ch
- Cavo FPC che collega Arducam V3Link a SK-AM62A
- 4 adattatori per telecamere V3Link (serializzatori)
- 4 cavi coassiali RF per collegare i serializzatori V3Link al kit V3Link d-ch
- 4 telecamere IMX219
- 4 cavi CSI-2 a 22 pin per collegare le telecamere ai serializzatori
- Cavi: cavo HDMI, USB-C per alimentare SK-AM62A-LP e alimentazione a 12 V per il kit V3Link d-ch)
- Altri componenti non mostrati nella Figura 4-1: scheda micro-SD, cavo micro-USB per accedere a SK-AM62A-LP ed Ethernet per lo streaming
Configurazione delle telecamere e dell'interfaccia CSI-2 RX
Configurare il software seguendo le istruzioni fornite nella Guida rapida di Arducam V3Link. Dopo aver eseguito lo script di configurazione della telecamera, setup-imx219.sh, il formato della telecamera, il formato dell'interfaccia CSI-2 RX e i percorsi da ciascuna telecamera al nodo video corrispondente saranno configurati correttamente. Vengono creati quattro nodi video per le quattro telecamere IMX219. Il comando "v4l2-ctl –list-devices" visualizza tutti i dispositivi video V4L2, come mostrato di seguito:
Tiscsi6rx include 1 nodi video e 2 nodo multimediale. Ogni nodo video corrisponde a un contesto DMA allocato dal driver CSI2 RX. Dei 6 nodi video, 4 sono utilizzati per le 4 telecamere IMX219, come mostrato nella topologia del media pipe seguente:
Come mostrato sopra, l'entità multimediale 30102000.ticsi2rx ha 6 pad sorgente, ma solo i primi 4 vengono utilizzati, ciascuno per un IMX219. La topologia del media pipe può anche essere illustrata graficamente. Eseguire il seguente comando per generare un punto. file:
Quindi eseguire il comando seguente su un PC host Linux per generare un PNG file:
La Figura 4-2 è un'immagine generata utilizzando i comandi sopra indicati. I componenti dell'architettura software della Figura 3-1 sono visibili in questo grafico.
Streaming da quattro telecamere
Con hardware e software configurati correttamente, le applicazioni multi-camera possono essere eseguite dallo spazio utente. Per AM62A, l'ISP deve essere regolato per produrre una buona qualità dell'immagine. Consultare la Guida alla regolazione dell'ISP per AM6xA per informazioni su come eseguire la regolazione dell'ISP. Le sezioni seguenti presentano esempi.amples di streaming dei dati della telecamera su un display, streaming dei dati della telecamera su una rete e memorizzazione dei dati della telecamera su files.
Trasmissione dei dati della telecamera al display
Un'applicazione di base di questo sistema multi-camera è lo streaming dei video da tutte le telecamere a un display collegato allo stesso SoC. Di seguito è riportato un esempio di pipeline GStreamer.ample di streaming di quattro IMX219 su un display (i numeri dei nodi video e i numeri v4l-subdev nella pipeline cambieranno probabilmente da un riavvio all'altro).
Trasmissione in streaming dei dati della telecamera tramite Ethernet
Invece di trasmettere in streaming a un display collegato allo stesso SoC, i dati della telecamera possono essere trasmessi anche tramite Ethernet. Il lato ricevente può essere un altro processore AM62A/AM62P o un PC host. Di seguito è riportato un esempio.ampmodalità di streaming dei dati della telecamera tramite Ethernet (utilizzando due telecamere per semplicità) (notare il plug-in dell'encoder utilizzato nella pipeline):
Quello che segue è un exampmodalità di ricezione dei dati della telecamera e di trasmissione in streaming a un display su un altro processore AM62A/AM62P:
Memorizzazione dei dati della fotocamera su Files
Invece di trasmettere in streaming su un display o tramite una rete, i dati della telecamera possono essere memorizzati in locale files. La pipeline sottostante memorizza i dati di ciascuna telecamera in un file (utilizzando due telecamere come example per semplicità).
Inferenza di apprendimento profondo multicamera
AM62A è dotato di un acceleratore di deep learning (C7x-MMA) con un massimo di due TOPS, in grado di eseguire vari tipi di modelli di deep learning per la classificazione, il rilevamento di oggetti, la segmentazione semantica e altro ancora. Questa sezione mostra come AM62A possa eseguire simultaneamente quattro modelli di deep learning su quattro diversi feed di telecamere.
Selezione del modello
EdgeAI-ModelZoo di TI fornisce centinaia di modelli all'avanguardia, che vengono convertiti/esportati dai loro framework di training originali in un formato compatibile con gli embedded, in modo da poter essere scaricati sull'acceleratore di deep learning C7x-MMA. Edge AI Studio Model Analyzer, basato su cloud, offre uno strumento di "selezione del modello" di facile utilizzo. Viene aggiornato dinamicamente per includere tutti i modelli supportati da TI EdgeAI-ModelZoo. Lo strumento non richiede alcuna esperienza pregressa e fornisce un'interfaccia intuitiva per inserire le funzionalità richieste nel modello desiderato.
Per questo esperimento di deep learning multi-camera è stato selezionato il modello TFL-OD-2000-ssd-mobV1-coco-mlperf. Questo modello di rilevamento multi-oggetto è sviluppato nel framework TensorFlow con una risoluzione di input di 300×300. La Tabella 4-1 mostra le caratteristiche principali di questo modello addestrato sul dataset cCOCO con circa 80 classi diverse.
Tabella 4-1. Caratteristiche principali del modello TFL-OD-2000-ssd-mobV1-coco-mlperf.
Modello | Compito | Risoluzione | Sparatutto in prima persona | mappa 50% Precisione su COCO | Latenza/frame (ms) | DDR BW Utilizzo (MB/frame) |
TFL-OD-2000-ssd- mobV1-coco-mlperf | Rilevamento multi-oggetto | 300×300 | ~152 | 15.9 | 6.5 | 18.839 |
Configurazione della pipeline
La Figura 4-3 mostra la pipeline GStreamer di deep learning a 4 telecamere. TI fornisce una suite di GStreamer plugins che consentono di scaricare parte dell'elaborazione multimediale e dell'inferenza di apprendimento profondo sugli acceleratori hardware. Alcuni esempiample di queste plugins includono tiovxisp, tiovxmultiscaler, tiovxmosaic e tidlinferer. La pipeline nella Figura 4-3 include tutti i requisiti plugins per una pipeline GStreamer multipath per input a 4 telecamere, ciascuna con pre-elaborazione multimediale, inferenza di deep learning e post-elaborazione. Il duplicato plugins per ciascuno dei percorsi della telecamera sono impilati nel grafico per una dimostrazione più semplice.
Le risorse hardware disponibili sono distribuite equamente tra i quattro percorsi delle telecamere. Ad esempio, AM62A contiene due multiscaler di immagini: MSC0 e MSC1. La pipeline dedica esplicitamente MSC0 all'elaborazione dei percorsi delle telecamere 1 e 2, mentre MSC1 è dedicato alle telecamere 3 e 4.
L'output delle quattro pipeline delle telecamere viene ridimensionato e concatenato utilizzando il plugin tiovxmosaic. L'output viene visualizzato su un'unica schermata. La Figura 4-4 mostra l'output delle quattro telecamere con un modello di deep learning che esegue il rilevamento di oggetti. Ogni pipeline (telecamera) funziona a 30 FPS, per un totale di 120 FPS.
Di seguito è riportato lo script completo della pipeline per il caso d'uso di apprendimento profondo multicamera mostrato nella Figura 4-3.
Analisi delle prestazioni
La configurazione con quattro telecamere utilizzando la scheda V3Link e l'AM62A SK è stata testata in vari scenari applicativi, tra cui la visualizzazione diretta su uno schermo, lo streaming su Ethernet (quattro canali UDP), la registrazione su 4 canali separati files, e con inferenza di apprendimento profondo. In ogni esperimento, abbiamo monitorato il frame rate e l'utilizzo dei core della CPU per esplorare le capacità dell'intero sistema.
Come mostrato in precedenza nella Figura 4-4, la pipeline di deep learning utilizza il plugin tiperfoverlay GStreamer per mostrare i carichi dei core della CPU come un grafico a barre nella parte inferiore dello schermo. Per impostazione predefinita, il grafico viene aggiornato ogni due secondi per mostrare i carichi come percentuale di utilizzo.tage. Oltre al plugin tiperfoverlay GStreamer, lo strumento perf_stats è una seconda opzione per mostrare le prestazioni del core direttamente sul terminale con un'opzione per il salvataggio su un fileQuesto strumento è più accurato rispetto a tTiperfoverlay, poiché quest'ultimo aggiunge un carico aggiuntivo sui core ARMm e sulla DDR per disegnare il grafico e sovrapporlo allo schermo. Lo strumento perf_stats viene utilizzato principalmente per raccogliere i risultati di utilizzo dell'hardware in tutti i casi di test mostrati in questo documento. Alcuni dei core di elaborazione e degli acceleratori più importanti studiati in questi test includono i processori principali (quattro core ARM A53 a 1.25 GHz), l'acceleratore di deep learning (C7x-MMA a 850 MHz), il VPAC (ISP) con VISS e multiscaler (MSC0 e MSC1) e le operazioni DDR.
La Tabella 5-1 mostra le prestazioni e l'utilizzo delle risorse quando si utilizza AM62A con quattro telecamere per tre casi d'uso, tra cui lo streaming di quattro telecamere su un display, lo streaming su Ethernet e la registrazione su quattro telecamere separate files. In ogni caso d'uso vengono implementati due test: con la sola telecamera e con inferenza di deep learning. Inoltre, la prima riga della Tabella 5-1 mostra l'utilizzo dell'hardware quando su AM62A era in esecuzione solo il sistema operativo, senza applicazioni utente. Questo viene utilizzato come base di riferimento per il confronto nella valutazione dell'utilizzo dell'hardware degli altri casi di test. Come mostrato nella tabella, le quattro telecamere con deep learning e display funzionavano a 30 FPS ciascuna, per un totale di 120 FPS per le quattro telecamere. Questo elevato frame rate è stato ottenuto con solo l'86% della piena capacità dell'acceleratore di deep learning (C7x-MMA). Inoltre, è importante notare che l'acceleratore di deep learning era impostato a 850 MHz anziché a 1000 MHz in questi esperimenti, il che rappresenta solo l'85% circa delle sue prestazioni massime.
Tabella 5-1. Prestazioni (FPS) e utilizzo delle risorse di AM62A quando utilizzato con 4 telecamere IMX219 per la visualizzazione dello schermo, lo streaming Ethernet, la registrazione su Files, ed esecuzione di inferenze di apprendimento profondo
Applicazione n | Conduttura (operazione ) | Produzione | Sparatutto in prima persona media della pipeline s | Sparatutto in prima persona totale | MPU A53 @ 1.25 GHz [%] | MCU R5 [%] | DLA (C7x-MMA) a 850 MHz [%] | VISS [%] | MSC0 [%] | MSC1 [%] | DDR Strada [MB/s] | DDR Velocità [MB/s] | DDR Totale [MB/s] |
Nessuna app | Nessuna operazione di base | NA | NA | NA | 1.87 | 1 | 0 | 0 | 0 | 0 | 560 | 19 | 579 |
Telecamera soltanto | Flusso per schermare | Schermo | 30 | 120 | 12 | 12 | 0 | 70 | 61 | 60 | 1015 | 757 | 1782 |
Streaming su Ethernet | UDP: 4 porte 1920×1080 | 30 | 120 | 23 | 6 | 0 | 70 | 0 | 0 | 2071 | 1390 | 3461 | |
Documentazione A files | 4 files 1920×1080 | 30 | 120 | 25 | 3 | 0 | 70 | 0 | 0 | 2100 | 1403 | 3503 | |
Camma con apprendimento profondo | Apprendimento profondo: rilevamento di oggetti MobV1-coco | Schermo | 30 | 120 | 38 | 25 | 86 | 71 | 85 | 82 | 2926 | 1676 | 4602 |
Apprendimento profondo: rilevamento di oggetti MobV1-coco e Stream over Ethernet | UDP: 4 porte 1920×1080 | 28 | 112 | 84 | 20 | 99 | 66 | 65 | 72 | 4157 | 2563 | 6720 | |
Apprendimento profondo: rilevamento di oggetti MobV1-coco e registrazione su files | 4 files 1920×1080 | 28 | 112 | 87 | 22 | 98 | 75 | 82 | 61 | 2024 | 2458 | 6482 |
Riepilogo
Questo report applicativo descrive come implementare applicazioni multi-camera sulla famiglia di dispositivi AM6x. Il report fornisce un progetto di riferimento basato sul V3Link Camera Solution Kit di Arducam e sull'AM62A SK EVM, con diverse applicazioni che utilizzano quattro telecamere IMX219, come lo streaming e il rilevamento di oggetti. Gli utenti sono invitati ad acquistare il V3Link Camera Solution Kit da Arducam e a replicare queste applicazioni.amples. Il rapporto fornisce anche un'analisi dettagliata delle prestazioni di AM62A durante l'utilizzo di quattro telecamere in varie configurazioni, tra cui la visualizzazione su uno schermo, lo streaming su Ethernet e la registrazione su files. Mostra anche la capacità di AM62A di eseguire inferenze di deep learning su quattro flussi di telecamere separati in parallelo. In caso di domande sull'esecuzione di questi esempiamples, invia una richiesta al forum TI E2E.
Riferimenti
- Guida rapida all'avvio del kit di avviamento EVM AM62A
- Guida rapida alla soluzione per telecamere ArduCam V3Link
- Documentazione Edge AI SDK per AM62A
- Telecamere intelligenti Edge AI che utilizzano il processore AM62A a basso consumo energetico
- Sistemi di specchi con telecamera su AM62A
- Sistemi di monitoraggio del conducente e dell'occupazione su AM62A
- Applicazione della telecamera a quattro canali per Surround View e sistemi di telecamere CMS
- AM62Ax Linux Academy sull'abilitazione del sensore CIS-2
- Edge AI ModelZoo
- Studio di intelligenza artificiale Edge
- Strumento Perf_stats
Parti TI a cui si fa riferimento in questa nota applicativa:
- https://www.ti.com/product/AM62A7
- https://www.ti.com/product/AM62A7-Q1
- https://www.ti.com/product/AM62A3
- https://www.ti.com/product/AM62A3-Q1
- https://www.ti.com/product/AM62P
- https://www.ti.com/product/AM62P-Q1
- https://www.ti.com/product/DS90UB960-Q1
- https://www.ti.com/product/DS90UB953-Q1
- https://www.ti.com/product/TDES960
- https://www.ti.com/product/TSER953
AVVISO IMPORTANTE E ESCLUSIONE DI RESPONSABILITÀ
TI FORNISCE DATI TECNICI E DI AFFIDABILITÀ (COMPRESE SCHEDE TECNICHE), RISORSE DI PROGETTAZIONE (COMPRESI PROGETTI DI RIFERIMENTO), APPLICAZIONI O ALTRI CONSIGLI DI PROGETTAZIONE, WEB STRUMENTI, INFORMAZIONI SULLA SICUREZZA E ALTRE RISORSE "COS COME SONO" E CON TUTTI I DIFETTI E DECLINA OGNI GARANZIA, ESPRESSA ED IMPLICITA, COMPRESE SENZA LIMITAZIONI OGNI GARANZIA IMPLICITA DI COMMERCIABILITÀ, IDONEITÀ PER UN PARTICOLARE SCOPO O NON VIOLAZIONE DI PROPRIETÀ DI TERZI .
Queste risorse sono destinate a sviluppatori esperti che progettano con prodotti TI. Sei l'unico responsabile per
- selezionando i prodotti TI appropriati per la tua applicazione,
- progettare, convalidare e testare l'applicazione e
- garantire che la tua applicazione soddisfi gli standard applicabili e qualsiasi altro requisito di sicurezza, protezione, normativo o di altro tipo.
Queste risorse sono soggette a modifiche senza preavviso. TI consente l'utilizzo di queste risorse esclusivamente per lo sviluppo di un'applicazione che utilizzi i prodotti TI descritti nelle risorse stesse. È vietata qualsiasi altra riproduzione e visualizzazione di queste risorse. Non viene concessa alcuna licenza su alcun altro diritto di proprietà intellettuale di TI o su alcun diritto di proprietà intellettuale di terzi. TI declina ogni responsabilità e l'utente si impegna a manlevare completamente TI e i suoi rappresentanti da qualsiasi reclamo, danno, costo, perdita e responsabilità derivante dall'utilizzo di queste risorse.
I prodotti TI sono forniti soggetti alle Condizioni di vendita di TI o ad altri termini applicabili disponibili su ti.com o forniti insieme a tali prodotti TI. La fornitura di queste risorse da parte di TI non amplia né altera in altro modo le garanzie applicabili di TI o le esclusioni di responsabilità per i prodotti TI.
TI si oppone e rifiuta eventuali termini aggiuntivi o diversi che potresti aver proposto.
AVVISO IMPORTANTE
- Indirizzo postale: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
- Copyright © 2024, Texas Instruments Incorporated
Domande frequenti
D: Posso utilizzare qualsiasi tipo di fotocamera con la famiglia di dispositivi AM6x?
La famiglia AM6x supporta diversi tipi di telecamere, comprese quelle con o senza ISP integrato. Consultare le specifiche per maggiori dettagli sui tipi di telecamere supportati.
: Quali sono le principali differenze tra AM62A e AM62P nell'elaborazione delle immagini?
Le principali varianti includono i tipi di telecamera supportati, i dati di output della telecamera, la presenza di ISP HWA, Deep Learning HWA e 3-D Graphics HWA. Per un confronto dettagliato, consultare la sezione dedicata alle specifiche.
Documenti / Risorse
![]() | Texas Instruments AM6x sviluppa più telecamere [pdf] Guida utente AM62A, AM62P, AM6x Sviluppo di più telecamere, AM6x, Sviluppo di più telecamere, Più telecamere, Telecamera |