Texas Instruments AM6x développe plusieurs caméras
Caractéristiques
- Nom du produit : Famille d'appareils AM6x
- Type de caméra pris en charge : AM62A (avec ou sans FAI intégré), AM62P (avec FAI intégré)
- Données de sortie de la caméra : AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- FAI HWA : AM62A (Oui), AM62P (Non)
- Apprentissage profond HWA : AM62A (Oui), AM62P (Non)
- Carte graphique 3D HWA : AM62A (non), AM62P (oui)
Introduction aux applications multi-caméras sur AM6x :
- Les caméras intégrées jouent un rôle crucial dans les systèmes de vision modernes.
- L’utilisation de plusieurs caméras dans un système améliore les capacités et permet d’effectuer des tâches impossibles à réaliser avec une seule caméra.
Applications utilisant plusieurs caméras :
- Surveillance de sécurité : Améliore la couverture de surveillance, le suivi des objets et la précision de la reconnaissance.
- Entourer View: Permet la vision stéréo pour des tâches telles que la détection d'obstacles et la manipulation d'objets.
- Système d'enregistreur de cabine et de miroir de caméra : Offre une couverture étendue et élimine les angles morts.
- Imagerie médicale : Offre une précision améliorée dans la navigation chirurgicale et l'endoscopie.
- Drones et imagerie aérienne : Capturez des images haute résolution sous différents angles pour diverses applications.
Connexion de plusieurs caméras CSI-2 au SoC :
Pour connecter plusieurs caméras CSI-2 au SoC, suivez les instructions du manuel d'utilisation. Assurez-vous que chaque caméra est correctement alignée et connectée aux ports prévus à cet effet sur le SoC.
Note d'application
Développement d'applications multi-caméras sur AM6x
Jianzhong Xu, Qutaiba Saleh
ABSTRAIT
Ce rapport décrit le développement d'applications utilisant plusieurs caméras CSI-2 sur la famille d'appareils AM6x. Une conception de référence de détection d'objets par apprentissage profond sur 4 caméras du SoC AM62A est présentée, accompagnée d'une analyse des performances. Les principes généraux de cette conception s'appliquent à d'autres SoC dotés d'une interface CSI-2, tels que l'AM62x et l'AM62P.
Introduction
Les caméras embarquées jouent un rôle important dans les systèmes de vision modernes. L'utilisation de plusieurs caméras dans un système étend les capacités de ces systèmes et offre des possibilités inaccessibles avec une seule caméra. Voici quelques exemples.amples d'applications utilisant plusieurs caméras embarquées :
- Surveillance : Plusieurs caméras placées stratégiquement assurent une surveillance complète. Elles permettent une vue panoramique. views, réduisent les angles morts et améliorent la précision du suivi et de la reconnaissance des objets, améliorant ainsi les mesures de sécurité globales.
- Entourer ViewPlusieurs caméras sont utilisées pour créer une configuration de vision stéréo, permettant d'obtenir des informations tridimensionnelles et d'estimer la profondeur. Ceci est crucial pour des tâches telles que la détection d'obstacles dans les véhicules autonomes, la manipulation précise d'objets en robotique et le réalisme accru des expériences de réalité augmentée.
- Système d'enregistrement d'habitacle et de rétroviseur : Un enregistreur d'habitacle équipé de plusieurs caméras peut offrir une couverture plus étendue grâce à un seul processeur. De même, un système de rétroviseur équipé de deux caméras ou plus peut élargir le champ de vision du conducteur. view et éliminez les angles morts de tous les côtés d'une voiture.
- Imagerie médicale : Plusieurs caméras peuvent être utilisées en imagerie médicale pour des tâches telles que la navigation chirurgicale, offrant aux chirurgiens des perspectives multiples pour une précision accrue. En endoscopie, plusieurs caméras permettent un examen approfondi des organes internes.
- Drones et imagerie aérienne : Les drones sont souvent équipés de plusieurs caméras pour capturer des images ou des vidéos haute résolution sous différents angles. Ceci est utile pour des applications telles que la photographie aérienne, la surveillance agricole et l'arpentage.
- Avec les progrès des microprocesseurs, plusieurs caméras peuvent être intégrées dans un seul système sur puce.
(SoC) pour fournir des solutions compactes et performantes. Le SoC AM62Ax, doté d'un traitement vidéo/vision hautes performances et d'une accélération par apprentissage profond, est idéal pour les cas d'utilisation mentionnés ci-dessus. L'AM6P, autre composant AM62x, est conçu pour les applications d'affichage 3D embarqué hautes performances. Doté d'une accélération graphique 3D, l'AM62P peut facilement assembler les images de plusieurs caméras et produire un panoramique haute résolution. viewLes fonctionnalités innovantes du SoC AM62A/AM62P ont été présentées dans diverses publications, telles que [4], [5], [6], etc. Cette note d'application ne répétera pas ces descriptions de fonctionnalités, mais se concentrera plutôt sur l'intégration de plusieurs caméras CSI-2 dans des applications de vision embarquées sur AM62A/AM62P. - Le tableau 1-1 montre les principales différences entre AM62A et AM62P en ce qui concerne le traitement d’image.
Tableau 1-1. Différences entre AM62A et AM62P en traitement d'image
SoC | AM62A | AM62P |
Type de caméra pris en charge | Avec ou sans FAI intégré | Avec FAI intégré |
Données de sortie de la caméra | Brut/YUV/RVB | YUV/RVB |
FAI HWA | Oui | Non |
Apprentissage profond HWA | Oui | Non |
Graphiques 3D HWA | Non | Oui |
Connexion de plusieurs caméras CSI-2 au SoC
Le sous-système de caméra sur le SoC AM6x contient les composants suivants, comme illustré dans la Figure 2-1 :
- Récepteur MIPI D-PHY : reçoit les flux vidéo des caméras externes, prenant en charge jusqu'à 1.5 Gbit/s par voie de données pour 4 voies.
- Récepteur CSI-2 (RX) : reçoit les flux vidéo du récepteur D-PHY et les envoie directement au FAI ou transfère les données vers la mémoire DDR. Ce module prend en charge jusqu'à 16 canaux virtuels.
- SHIM : un wrapper DMA permettant d'envoyer les flux capturés en mémoire via DMA. Ce wrapper permet de créer plusieurs contextes DMA, chacun correspondant à un canal virtuel du récepteur CSI-2.
L'AM6x peut prendre en charge plusieurs caméras grâce aux canaux virtuels de CSI-2 RX, même si le SoC ne dispose que d'une seule interface CSI-2 RX. Un composant d'agrégation CSI-2 externe est nécessaire pour combiner plusieurs flux de caméras et les envoyer vers un seul SoC. Deux types de solutions d'agrégation CSI-2 sont disponibles, décrites dans les sections suivantes.
Agrégateur CSI-2 utilisant SerDes
Une solution de combinaison de plusieurs flux de caméras consiste à utiliser une solution de sérialisation et de désérialisation (SerDes). Les données CSI-2 de chaque caméra sont converties par un sérialiseur et transférées via un câble. Le désérialiseur reçoit toutes les données sérialisées transférées depuis les câbles (un câble par caméra), reconvertit les flux en données CSI-2, puis envoie un flux CSI-2 entrelacé à l'interface RX CSI-2 unique du SoC. Chaque flux de caméra est identifié par un canal virtuel unique. Cette solution d'agrégation offre l'avantage supplémentaire de permettre une connexion longue distance, jusqu'à 15 m, entre les caméras et le SoC.
Les sérialiseurs et désérialiseurs FPD-Link ou V3-Link (SerDes), pris en charge par le SDK Linux AM6x, sont les technologies les plus répandues pour ce type de solution d'agrégation CSI-2. Les désérialiseurs FPD-Link et V3-Link disposent tous deux de canaux de retour permettant d'envoyer des signaux de synchronisation d'images pour synchroniser toutes les caméras, comme expliqué dans [7].
La figure 2-2 montre un example fait d'utiliser le SerDes pour connecter plusieurs caméras à un seul SoC AM6x.
Un exampLe kit de solution d'agrégation Arducam V3Link comprend un concentrateur de désérialisation qui agrège 4 flux de caméras CSI-2, ainsi que 4 paires de sérialiseurs V3link et de caméras IMX219, incluant des câbles coaxiaux FAKRA et des câbles FPC 22 broches. La conception de référence présentée plus loin est basée sur ce kit.
Agrégateur CSI-2 sans utiliser SerDes
Ce type d'agrégateur peut s'interfacer directement avec plusieurs caméras MIPI CSI-2 et regrouper les données de toutes les caméras dans un seul flux de sortie CSI-2.
La figure 2-3 montre un exampLe système d'un tel système. Ce type de solution d'agrégation n'utilise aucun sérialiseur/désérialiseur, mais est limité par la distance maximale de transfert de données CSI-2, qui peut atteindre 30 cm. Le SDK Linux AM6x ne prend pas en charge ce type d'agrégateur CSI-2.
Activation de plusieurs caméras dans le logiciel
Architecture logicielle du sous-système de caméra
La figure 3-1 montre un schéma fonctionnel de haut niveau du logiciel du système de capture de caméra dans AM62A/AM62P Linux SDK, correspondant au système matériel de la figure 2-2.
- Cette architecture logicielle permet au SoC de recevoir plusieurs flux de caméras grâce à SerDes, comme illustré à la figure 2-2. Le SerDes FPD-Link/V3-Link attribue une adresse I2C et un canal virtuel uniques à chaque caméra. Une arborescence de périphériques unique doit être créée avec l'adresse I2C unique pour chaque caméra. Le pilote CSI-2 RX reconnaît chaque caméra grâce à son numéro de canal virtuel unique et crée un contexte DMA par flux. Un nœud vidéo est créé pour chaque contexte DMA. Les données de chaque caméra sont ensuite reçues et stockées en mémoire via DMA. Les applications en espace utilisateur utilisent les nœuds vidéo correspondant à chaque caméra pour accéder aux données. ExempleampLes principes d’utilisation de cette architecture logicielle sont donnés au Chapitre 4 – Conception de référence.
- Tout pilote de capteur spécifique compatible avec le framework V4L2 peut être intégré à cette architecture. Consultez [8] pour savoir comment intégrer un nouveau pilote de capteur au SDK Linux.
Architecture logicielle du pipeline d'images
- Le SDK Linux AM6x fournit le framework GStreamer (GST), utilisable dans l'espace serveur pour intégrer les composants de traitement d'images de diverses applications. Les accélérateurs matériels (HWA) du SoC, tels que l'accélérateur de prétraitement de la vision (VPAC) ou ISP, l'encodeur/décodeur vidéo et le moteur de calcul d'apprentissage profond, sont accessibles via GST. pluginsLe VPAC (ISP) lui-même possède plusieurs blocs, dont le sous-système d'imagerie de vision (VISS), la correction de la distorsion de l'objectif (LDC) et le multiscalaire (MSC), chacun correspondant à un plugin GST.
- La figure 3-2 montre le schéma fonctionnel d'un pipeline d'images typique depuis la caméra jusqu'à l'encodage ou à la numérisation en profondeur.
Applications d'apprentissage sur AM62A. Pour plus de détails sur le flux de données de bout en bout, consultez la documentation du SDK EdgeAI.
Pour AM62P, le pipeline d'images est plus simple car il n'y a pas de FAI sur AM62P.
Grâce à la création d'un nœud vidéo pour chaque caméra, le pipeline d'images basé sur GStreamer permet le traitement simultané de plusieurs entrées de caméra (connectées via la même interface CSI-2 RX). Une conception de référence utilisant GStreamer pour les applications multi-caméras est présentée au chapitre suivant.
Conception de référence
Ce chapitre présente une conception de référence de l'exécution d'applications multi-caméras sur AM62A EVM, en utilisant le kit de solution de caméra Arducam V3Link pour connecter 4 caméras CSI-2 à AM62A et en exécutant la détection d'objets pour les 4 caméras.
Caméras prises en charge
Le kit Arducam V3Link fonctionne avec les caméras FPD-Link/V3-Link et les caméras CSI-2 compatibles Raspberry Pi. Les caméras suivantes ont été testées :
- D3 Ingénierie D3RCM-IMX390-953
- Leopard Imaging LI-OV2312-FPDLINKIII-110H
- Caméras IMX219 dans le kit de solution de caméra Arducam V3Link
Configuration de quatre caméras IMX219
Suivez les instructions du guide de démarrage rapide du kit de démarrage AM62A pour configurer le module EVM SK-AM62A-LP (AM62A SK) et le guide de démarrage rapide de la solution de caméra ArduCam V3Link afin de connecter les caméras à l'AM62A SK via le kit V3Link. Assurez-vous que les broches des câbles flexibles, des caméras, de la carte V3Link et de l'AM62A SK sont correctement alignées.
La figure 4-1 illustre la configuration utilisée pour le plan de référence de ce rapport. Les principaux composants de cette configuration sont :
- 1X carte EVM SK-AM62A-LP
- 1X carte adaptateur Arducam V3Link d-ch
- Câble FPC reliant Arducam V3Link au SK-AM62A
- Adaptateurs de caméra 4X V3Link (sérialiseurs)
- 4 câbles coaxiaux RF pour connecter les sérialiseurs V3Link au kit V3Link d-ch
- 4 caméras IMX219
- 4 câbles CSI-2 22 broches pour connecter les caméras aux sérialiseurs
- Câbles : câble HDMI, USB-C pour alimenter le SK-AM62A-LP et alimentation 12 V pour le kit V3Link d-ch)
- Autres composants non représentés sur la figure 4-1 : carte micro-SD, câble micro-USB pour accéder au SK-AM62A-LP et Ethernet pour le streaming
Configuration des caméras et de l'interface CSI-2 RX
Configurez le logiciel conformément aux instructions du guide de démarrage rapide Arducam V3Link. Après l'exécution du script de configuration de la caméra, setup-imx219.sh, le format de la caméra, le format de l'interface CSI-2 RX et les routes de chaque caméra vers le nœud vidéo correspondant seront correctement configurés. Quatre nœuds vidéo sont créés pour les quatre caméras IMX219. La commande « v4l2-ctl –list-devices » affiche tous les périphériques vidéo V4L2, comme illustré ci-dessous :
Il y a six nœuds vidéo et un nœud multimédia sous tiscsi6rx. Chaque nœud vidéo correspond à un contexte DMA alloué par le pilote CSI1 RX. Sur ces six nœuds, quatre sont utilisés pour les quatre caméras IMX2, comme illustré dans la topologie du canal multimédia ci-dessous :
Comme illustré ci-dessus, l'entité média 30102000.ticsi2rx comporte six pads sources, mais seuls les quatre premiers sont utilisés, chacun pour un IMX6. La topologie du canal média peut également être illustrée graphiquement. Exécutez la commande suivante pour générer un point. file:
Exécutez ensuite la commande ci-dessous sur un PC hôte Linux pour générer un PNG file:
La figure 4-2 est une image générée à l'aide des commandes ci-dessus. Les composants de l'architecture logicielle de la figure 3-1 sont représentés dans ce graphique.
Diffusion en continu à partir de quatre caméras
Avec une configuration matérielle et logicielle adéquate, les applications multi-caméras peuvent être exécutées depuis l'espace utilisateur. Pour l'AM62A, le FAI doit être réglé pour produire une bonne qualité d'image. Consultez le guide de réglage du FAI de l'AM6xA pour savoir comment effectuer ce réglage. Les sections suivantes présentent des exemples.amples données de caméra en streaming vers un écran, la diffusion des données de caméra vers un réseau et le stockage des données de caméra sur files.
Diffusion des données de la caméra à afficher
Une application de base de ce système multi-caméras consiste à diffuser les vidéos de toutes les caméras vers un écran connecté au même SoC. Voici un exemple de pipeline GStreamer.ample streaming de quatre IMX219 sur un écran (les numéros de nœuds vidéo et les numéros v4l-subdev dans le pipeline changeront probablement d'un redémarrage à l'autre).
Diffusion des données de la caméra via Ethernet
Au lieu d'être diffusées vers un écran connecté au même SoC, les données de la caméra peuvent également être diffusées via Ethernet. Le récepteur peut être un autre processeur AM62A/AM62P ou un PC hôte. Voici un exemple.ample streaming des données de la caméra via Ethernet (en utilisant deux caméras pour plus de simplicité) (notez le plugin d'encodeur utilisé dans le pipeline) :
Ce qui suit est un exempleample processus de réception des données de la caméra et de diffusion vers un écran sur un autre processeur AM62A/AM62P :
Stockage des données de la caméra sur Files
Au lieu d'être diffusées sur un écran ou via un réseau, les données de la caméra peuvent être stockées localement. files. Le pipeline ci-dessous stocke les données de chaque caméra dans un file (en utilisant deux caméras comme exempleamp(pour plus de simplicité).
Inférence d'apprentissage profond multicaméra
L'AM62A est équipé d'un accélérateur de deep learning (C7x-MMA) avec jusqu'à deux TOPS, capables d'exécuter différents types de modèles de deep learning pour la classification, la détection d'objets, la segmentation sémantique, etc. Cette section montre comment l'AM62A peut exécuter simultanément quatre modèles de deep learning sur quatre flux de caméra différents.
Sélection du modèle
EdgeAI-ModelZoo de TI fournit des centaines de modèles de pointe, convertis/exportés depuis leurs cadres d'entraînement d'origine vers un format intégré, afin de les transférer vers l'accélérateur d'apprentissage profond C7x-MMA. L'analyseur de modèles Edge AI Studio, basé sur le cloud, offre un outil de sélection de modèles facile à utiliser. Il est mis à jour dynamiquement pour inclure tous les modèles pris en charge par EdgeAI-ModelZoo de TI. Cet outil ne nécessite aucune expérience préalable et offre une interface intuitive pour saisir les fonctionnalités requises dans le modèle souhaité.
Le modèle TFL-OD-2000-ssd-mobV1-coco-mlperf a été sélectionné pour cette expérience d'apprentissage profond multi-caméras. Ce modèle de détection multi-objets est développé dans le framework TensorFlow avec une résolution d'entrée de 300×300. Le tableau 4-1 présente les principales caractéristiques de ce modèle lorsqu'il est entraîné sur le jeu de données cCOCO avec environ 80 classes différentes.
Tableau 4-1. Principales caractéristiques du modèle TFL-OD-2000-ssd-mobV1-coco-mlperf.
Modèle | Tâche | Résolution | FPS | mAP 50%
Précision sur COCO |
Latence/Trame (ms) | DDR BW
Utilisation (Mo/trame) |
TFL-OD-2000-ssd-
mobV1-coco-mlperf |
Détection multi-objets | 300×300 | ~152 | 15.9 | 6.5 | 18.839 |
Configuration du pipeline
La figure 4-3 illustre le pipeline d'apprentissage profond GStreamer à 4 caméras. TI fournit une suite de GStreamer. plugins qui permettent de déléguer une partie du traitement multimédia et de l'inférence d'apprentissage profond aux accélérateurs matériels. Certains examples moins de ces plugins Inclut tiovxisp, tiovxmultiscaler, tiovxmosaic et tidlinferer. Le pipeline de la figure 4-3 inclut tous les composants requis. plugins pour un pipeline GStreamer multi-trajets pour quatre entrées de caméra, chacune avec prétraitement multimédia, inférence d'apprentissage profond et post-traitement. plugins pour chacun des chemins de caméra sont empilés dans le graphique pour une démonstration plus facile.
Les ressources matérielles disponibles sont réparties équitablement entre les quatre chemins de caméra. Par exemple, l'AM62A contient deux multiscalers d'image : MSC0 et MSC1. Le pipeline dédie explicitement MSC0 au traitement des chemins des caméras 1 et 2, tandis que MSC1 est dédié aux caméras 3 et 4.
La sortie des quatre pipelines de caméra est réduite et concaténée à l'aide du plugin tiovxmosaic. La sortie est affichée sur un seul écran. La figure 4-4 montre la sortie des quatre caméras avec un modèle d'apprentissage profond exécutant la détection d'objets. Chaque pipeline (caméra) fonctionne à 30 ips, soit un total de 120 ips.
Voici ensuite le script de pipeline complet pour le cas d’utilisation d’apprentissage en profondeur multicaméra illustré dans la Figure 4-3.
Analyse des performances
La configuration avec quatre caméras utilisant la carte V3Link et l'AM62A SK a été testée dans divers scénarios d'application, notamment l'affichage direct sur un écran, la diffusion en continu sur Ethernet (quatre canaux UDP), l'enregistrement sur 4 canaux distincts files, et avec une inférence d'apprentissage profond. Dans chaque expérience, nous avons surveillé la fréquence d'images et l'utilisation des cœurs du processeur afin d'explorer les capacités de l'ensemble du système.
Comme illustré précédemment dans la figure 4-4, le pipeline d'apprentissage profond utilise le plugin tiperfoverlay GStreamer pour afficher la charge des cœurs de processeur sous forme de graphique à barres en bas de l'écran. Par défaut, le graphique est mis à jour toutes les deux secondes pour afficher les charges en pourcentage d'utilisation.tage. En plus du plugin tiperfoverlay GStreamer, l'outil perf_stats est une deuxième option pour afficher les performances de base directement sur le terminal avec une option d'enregistrement dans un fileCet outil est plus précis que tTiperfoverlay, car ce dernier ajoute une charge supplémentaire aux cœurs ARMm et à la DDR pour tracer le graphique et le superposer à l'écran. L'outil perf_stats est principalement utilisé pour collecter les résultats d'utilisation du matériel dans tous les cas de test présentés dans ce document. Parmi les cœurs de traitement et accélérateurs importants étudiés lors de ces tests figurent les processeurs principaux (quatre cœurs Arm A53 à 1.25 GHz), l'accélérateur d'apprentissage profond (C7x-MMA à 850 MHz), le VPAC (ISP) avec VISS et les multiscalers (MSC0 et MSC1), ainsi que les opérations DDR.
Le tableau 5-1 montre les performances et l'utilisation des ressources lors de l'utilisation de l'AM62A avec quatre caméras pour trois cas d'utilisation, notamment la diffusion en continu de quatre caméras sur un écran, la diffusion en continu via Ethernet et l'enregistrement sur quatre caméras distinctes. files. Deux tests sont mis en œuvre dans chaque cas d'utilisation : avec la caméra seule et avec l'inférence d'apprentissage profond. De plus, la première ligne du tableau 5-1 indique l'utilisation du matériel lorsque seul le système d'exploitation était exécuté sur AM62A, sans aucune application utilisateur. Ceci sert de référence de comparaison lors de l'évaluation de l'utilisation du matériel des autres cas de test. Comme indiqué dans le tableau, les quatre caméras avec apprentissage profond et affichage sur écran fonctionnaient à 30 ips chacune, pour un total de 120 ips pour les quatre caméras. Cette fréquence d'images élevée est atteinte avec seulement 86 % de la capacité totale de l'accélérateur d'apprentissage profond (C7x-MMA). De plus, il est important de noter que l'accélérateur d'apprentissage profond était cadencé à 850 MHz au lieu de 1000 85 MHz lors de ces expériences, ce qui ne représente qu'environ XNUMX % de ses performances maximales.
Tableau 5-1. Performances (FPS) et utilisation des ressources de l'AM62A lorsqu'il est utilisé avec 4 caméras IMX219 pour l'affichage à l'écran, le flux Ethernet et l'enregistrement sur Files, et effectuer des inférences d'apprentissage profond
Application n | Pipeline (exploitation
) |
Sortir | FPS pipeline moyen s | FPS
total |
MPU A53s à 1.25
GHz [%] |
MCU R5 [%] | DLA (C7x-MMA) à 850
MHz [%] |
VISS [%] | MSC0 [%] | MSC1 [%] | RDA
Rd [Mo/s] |
RDA
Wr [Mo/s] |
RDA
Total [Mo/s] |
Pas d'application | Ligne de base Aucune opération | NA | NA | NA | 1.87 | 1 | 0 | 0 | 0 | 0 | 560 | 19 | 579 |
Caméra seulement | Flux à l'écran | Écran | 30 | 120 | 12 | 12 | 0 | 70 | 61 | 60 | 1015 | 757 | 1782 |
Diffusion en continu via Ethernet | UDP: 4
ports 1920×1080 |
30 | 120 | 23 | 6 | 0 | 70 | 0 | 0 | 2071 | 1390 | 3461 | |
Enregistrer à files | 4 files 1920×1080 | 30 | 120 | 25 | 3 | 0 | 70 | 0 | 0 | 2100 | 1403 | 3503 | |
Came avec l'apprentissage profond | Apprentissage profond : Détection d'objets MobV1- coco | Écran | 30 | 120 | 38 | 25 | 86 | 71 | 85 | 82 | 2926 | 1676 | 4602 |
Apprentissage profond : Détection d'objets MobV1- coco et Stream over Ethernet | UDP: 4
ports 1920×1080 |
28 | 112 | 84 | 20 | 99 | 66 | 65 | 72 | 4157 | 2563 | 6720 | |
Apprentissage profond : Détection d'objets MobV1- coco et enregistrement dans files | 4 files 1920×1080 | 28 | 112 | 87 | 22 | 98 | 75 | 82 | 61 | 2024 | 2458 | 6482 |
Résumé
Ce rapport d'application décrit la mise en œuvre d'applications multi-caméras sur la famille d'appareils AM6x. Une conception de référence basée sur le kit de solution caméra V3Link d'Arducam et l'AM62A SK EVM est fournie dans le rapport, avec plusieurs applications caméra utilisant quatre caméras IMX219, telles que le streaming et la détection d'objets. Les utilisateurs sont encouragés à acquérir le kit de solution caméra V3Link d'Arducam et à reproduire ces exemples.ampLe rapport fournit également une analyse détaillée des performances de l'AM62A lors de l'utilisation de quatre caméras dans diverses configurations, y compris l'affichage sur un écran, la diffusion via Ethernet et l'enregistrement sur files. Il démontre également la capacité de l'AM62A à effectuer des inférences d'apprentissage profond sur quatre flux de caméras distincts en parallèle. Pour toute question concernant l'exécution de ces exemples,amples, soumettez une demande sur le forum TI E2E.
Références
- Guide de démarrage rapide du kit de démarrage EVM AM62A
- Guide de démarrage rapide de la solution de caméra ArduCam V3Link
- Documentation du SDK Edge AI pour AM62A
- Caméras intelligentes Edge AI utilisant le processeur AM62A à faible consommation d'énergie
- Systèmes de miroirs de caméra sur AM62A
- Systèmes de surveillance du conducteur et de l'occupation sur AM62A
- Application de caméra à quatre canaux pour le surround View et systèmes de caméras CMS
- Académie Linux AM62Ax sur l'activation du capteur CIS-2
- Modèle d'IA EdgeZoo
- Edge AI Studio
- Outil Perf_stats
Pièces TI référencées dans cette note d'application :
- https://www.ti.com/product/AM62A7
- https://www.ti.com/product/AM62A7-Q1
- https://www.ti.com/product/AM62A3
- https://www.ti.com/product/AM62A3-Q1
- https://www.ti.com/product/AM62P
- https://www.ti.com/product/AM62P-Q1
- https://www.ti.com/product/DS90UB960-Q1
- https://www.ti.com/product/DS90UB953-Q1
- https://www.ti.com/product/TDES960
- https://www.ti.com/product/TSER953
AVIS IMPORTANT ET AVIS DE NON-RESPONSABILITÉ
TI FOURNIT DES DONNÉES TECHNIQUES ET DE FIABILITÉ (Y COMPRIS LES FICHES TECHNIQUES), DES RESSOURCES DE CONCEPTION (Y COMPRIS DES CONCEPTIONS DE RÉFÉRENCE), DES CONSEILS D'APPLICATION OU D'AUTRES CONSEILS DE CONCEPTION, WEB OUTILS, INFORMATIONS DE SÉCURITÉ ET AUTRES RESSOURCES « EN L'ÉTAT » ET AVEC TOUS LES DÉFAUTS, ET DÉCLINE TOUTE GARANTIE, EXPRESSE ET IMPLICITE, Y COMPRIS, SANS LIMITATION, TOUTE GARANTIE IMPLICITE DE QUALITÉ MARCHANDE, D'ADAPTATION À UN USAGE PARTICULIER OU DE NON-VIOLATION DE TIERS .
Ces ressources sont destinées aux développeurs expérimentés qui conçoivent avec des produits TI. Vous êtes seul responsable de
- sélectionner les produits TI appropriés pour votre application,
- concevoir, valider et tester votre application, et
- garantir que votre application répond aux normes applicables et à toute autre exigence de sécurité, de sûreté, réglementaire ou autre.
Ces ressources sont susceptibles d'être modifiées sans préavis. TI vous autorise à les utiliser uniquement pour le développement d'une application utilisant les produits TI décrits dans ces ressources. Toute autre reproduction ou présentation de ces ressources est interdite. Aucune licence n'est accordée sur tout autre droit de propriété intellectuelle de TI ou de tiers. TI décline toute responsabilité et vous indemniserez intégralement TI et ses représentants pour toute réclamation, tout dommage, tout coût, toute perte et toute responsabilité découlant de votre utilisation de ces ressources.
Les produits de TI sont fournis sous réserve des conditions de vente de TI ou d'autres conditions applicables disponibles sur ti.com ou fournis avec ces produits TI. La mise à disposition de ces ressources par TI n'étend ni ne modifie autrement les garanties applicables ou les exclusions de garantie de TI pour les produits TI.
TI s'oppose et rejette toute condition supplémentaire ou différente que vous pourriez avoir proposée.
AVIS IMPORTANT
- Adresse postale : Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
- Copyright © 2024, Texas Instruments Incorporé
Questions fréquemment posées
Q : Puis-je utiliser n’importe quel type d’appareil photo avec la famille d’appareils AM6x ?
La gamme AM6x prend en charge différents types de caméras, avec ou sans FAI intégré. Consultez les spécifications pour plus de détails sur les types de caméras pris en charge.
:Quelles sont les principales différences entre AM62A et AM62P en matière de traitement d'image ?
Les principales variations incluent les types de caméras pris en charge, les données de sortie de la caméra, la présence de HWA ISP, de HWA Deep Learning et de HWA 3D Graphics. Consultez la section Spécifications pour une comparaison détaillée.
Documents / Ressources
![]() |
Texas Instruments AM6x développe plusieurs caméras [pdf] Guide de l'utilisateur AM62A, AM62P, AM6x Développement de plusieurs caméras, AM6x, Développement de plusieurs caméras, Plusieurs caméras, Caméra |