Texas Instruments AM6x desarrolla múltiples cámaras

Presupuesto

• Nombre del producto: Familia de dispositivos AM6x
• Tipo de cámara compatible: AM62A (con o sin ISP integrado), AM62P (con ISP integrado)
• Datos de salida de la cámara: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• ISP HWA: AM62A (Sí), AM62P (No)
• Aprendizaje profundo HWA: AM62A (Sí), AM62P (No)
• Gráficos 3D HWA: AM62A (No), AM62P (Sí)

Introducción a las aplicaciones de múltiples cámaras en AM6x:

• Las cámaras integradas desempeñan un papel crucial en los sistemas de visión modernos.
• El uso de varias cámaras en un sistema mejora las capacidades y permite realizar tareas que no se podrían lograr con una sola cámara.

Aplicaciones que utilizan varias cámaras:

• Vigilancia de seguridad: Mejora la cobertura de vigilancia, el seguimiento de objetos y la precisión del reconocimiento.
• Rodear View: Permite visión estéreo para tareas como detección de obstáculos y manipulación de objetos.
• Sistema de grabadora de cabina y espejo con cámara: Proporciona una cobertura extendida y elimina los puntos ciegos.
• Imágenes médicas: Ofrece una precisión mejorada en la navegación quirúrgica y endoscopia.
• Drones e imágenes aéreas: Capture imágenes de alta resolución desde diferentes ángulos para diversas aplicaciones.

Conexión de varias cámaras CSI-2 al SoC:
Para conectar varias cámaras CSI-2 al SoC, siga las instrucciones del manual del usuario. Asegúrese de que cada cámara esté correctamente alineada y conectada a los puertos designados del SoC.

Nota de aplicación
Desarrollo de aplicaciones multicámara en AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRACTO
Este informe describe el desarrollo de aplicaciones utilizando múltiples cámaras CSI-2 en la familia de dispositivos AM6x. Se presenta un diseño de referencia de detección de objetos con aprendizaje profundo en cuatro cámaras del SoC AM4A, junto con un análisis de rendimiento. Los principios generales del diseño se aplican a otros SoC con interfaz CSI-62, como AM2x y AM62P.

Introducción

Las cámaras integradas desempeñan un papel importante en los sistemas de visión modernos. El uso de varias cámaras en un sistema amplía las capacidades de estos y permite funciones que no son posibles con una sola cámara. A continuación se presentan algunos ejemplos.ampArchivos de aplicaciones que utilizan múltiples cámaras integradas:

• Vigilancia de seguridad: Varias cámaras ubicadas estratégicamente brindan una cobertura de vigilancia integral. Permiten una vista panorámica. views, reduce los puntos ciegos y mejora la precisión del seguimiento y reconocimiento de objetos, mejorando las medidas de seguridad generales.
• Rodear ViewSe utilizan múltiples cámaras para crear una configuración de visión estereoscópica, lo que permite obtener información tridimensional y estimar la profundidad. Esto es crucial para tareas como la detección de obstáculos en vehículos autónomos, la manipulación precisa de objetos en robótica y el realismo mejorado de las experiencias de realidad aumentada.
• Sistema de grabadora de cabina y espejo retrovisor con cámara: Una grabadora de cabina con varias cámaras puede ofrecer mayor cobertura con un solo procesador. De igual forma, un sistema de espejo retrovisor con dos o más cámaras puede ampliar el campo de visión del conductor. view y eliminar los puntos ciegos de todos los lados del coche.
• Imágenes médicas: Se pueden utilizar múltiples cámaras en imágenes médicas para tareas como la navegación quirúrgica, lo que proporciona a los cirujanos múltiples perspectivas para una mayor precisión. En endoscopia, varias cámaras permiten un examen exhaustivo de los órganos internos.
• Drones e imágenes aéreas: Los drones suelen estar equipados con múltiples cámaras para capturar imágenes o vídeos de alta resolución desde diferentes ángulos. Esto resulta útil en aplicaciones como la fotografía aérea, el monitoreo agrícola y la topografía.
• Con el avance de los microprocesadores, se pueden integrar múltiples cámaras en un único sistema en chip.
  (SoC) para ofrecer soluciones compactas y eficientes. El SoC AM62Ax, con procesamiento de video/visión de alto rendimiento y aceleración de aprendizaje profundo, es un dispositivo ideal para los casos de uso mencionados. Otro dispositivo AM6x, el AM62P, está diseñado para aplicaciones de visualización 3D integrada de alto rendimiento. Equipado con aceleración de gráficos 3D, el AM62P puede combinar fácilmente imágenes de múltiples cámaras y producir una panorámica de alta resolución. viewLas características innovadoras del SoC AM62A/AM62P se han presentado en diversas publicaciones, como [4], [5], [6], etc. Esta nota de aplicación no repetirá las descripciones de dichas características, sino que se centra en la integración de múltiples cámaras CSI-2 en aplicaciones de visión integrada en AM62A/AM62P.
• La Tabla 1-1 muestra las principales diferencias entre AM62A y AM62P en lo que respecta al procesamiento de imágenes.

Tabla 1-1. Diferencias entre AM62A y AM62P en el procesamiento de imágenes

Sistema en chip (SoC)	AM62A	AM62P
Tipo de cámara compatible	Con o sin ISP incorporado	Con ISP incorporado
Datos de salida de la cámara	Crudo/YUV/RGB	YUV/RGB
Proveedor de servicios de Internet HWA	Sí	No
Aprendizaje profundo HWA	Sí	No
Gráficos 3D HWA	No	Sí

Conexión de varias cámaras CSI-2 al SoC
El subsistema de cámara del SoC AM6x contiene los siguientes componentes, como se muestra en la Figura 2-1:

• Receptor MIPI D-PHY: recibe transmisiones de video de cámaras externas y admite hasta 1.5 Gbps por línea de datos para 4 líneas.
• Receptor CSI-2 (RX): recibe transmisiones de vídeo del receptor D-PHY y las envía directamente al proveedor de servicios de internet (ISP) o vuelca los datos a la memoria DDR. Este módulo admite hasta 16 canales virtuales.
• SHIM: un contenedor DMA que permite enviar los flujos capturados a memoria mediante DMA. Este contenedor permite crear múltiples contextos DMA, cada uno de los cuales corresponde a un canal virtual del receptor CSI-2.

El AM6x admite varias cámaras mediante canales virtuales de CSI-2 RX, aunque solo exista una interfaz CSI-2 RX en el SoC. Se requiere un componente de agregación CSI-2 externo para combinar múltiples transmisiones de cámara y enviarlas a un único SoC. Se pueden utilizar dos tipos de soluciones de agregación CSI-2, que se describen en las siguientes secciones.

Agregador CSI-2 que utiliza SerDes
Una forma de combinar múltiples transmisiones de cámara es usar una solución de serialización y deserialización (SerDes). Los datos CSI-2 de cada cámara se convierten mediante un serializador y se transfieren a través de un cable. El deserializador recibe todos los datos serializados transferidos desde los cables (un cable por cámara), convierte las transmisiones de nuevo a datos CSI-2 y envía una transmisión CSI-2 intercalada a la interfaz RX CSI-2 única del SoC. Cada transmisión de cámara se identifica mediante un canal virtual único. Esta solución de agregación ofrece la ventaja adicional de permitir una conexión de larga distancia de hasta 15 m desde las cámaras hasta el SoC.

Los serializadores y deserializadores FPD-Link o V3-Link (SerDes), compatibles con el SDK de Linux AM6x, son las tecnologías más populares para este tipo de solución de agregación CSI-2. Tanto los deserializadores FPD-Link como los V3-Link cuentan con canales de retorno que permiten enviar señales de sincronización de fotogramas para sincronizar todas las cámaras, como se explica en [7].
La figura 2-2 muestra un exampLe de usar SerDes para conectar múltiples cámaras a un solo SoC AM6x.

Un exampEsta solución de agregación se encuentra en el Kit de Solución de Cámara Arducam V3Link. Este kit incluye un concentrador deserializador que agrega 4 transmisiones de cámara CSI-2, así como 4 pares de serializadores V3link y cámaras IMX219, incluyendo cables coaxiales FAKRA y cables FPC de 22 pines. El diseño de referencia que se describe más adelante se basa en este kit.

Agregador CSI-2 sin utilizar SerDes
Este tipo de agregador puede interactuar directamente con múltiples cámaras MIPI CSI-2 y agregar los datos de todas las cámaras en una única transmisión de salida CSI-2.

La figura 2-3 muestra un exampEste tipo de solución de agregación no utiliza ningún serializador/deserializador, pero está limitada por la distancia máxima de transferencia de datos CSI-2, que es de hasta 30 cm. El SDK de Linux AM6x no es compatible con este tipo de agregador CSI-2.

Habilitación de varias cámaras en el software

Arquitectura del software del subsistema de cámara
La Figura 3-1 muestra un diagrama de bloques de alto nivel del software del sistema de captura de cámara en el SDK de Linux AM62A/AM62P, correspondiente al sistema HW de la Figura 2-2.

• Esta arquitectura de software permite que el SoC reciba múltiples transmisiones de cámara mediante SerDes, como se muestra en la Figura 2-2. El SerDes FPD-Link/V3-Link asigna una dirección I2C y un canal virtual únicos a cada cámara. Se debe crear una superposición de árbol de dispositivos única con la dirección I2C única para cada cámara. El controlador CSI-2 RX reconoce cada cámara mediante el número de canal virtual único y crea un contexto DMA para cada transmisión. Se crea un nodo de vídeo para cada contexto DMA. Los datos de cada cámara se reciben y almacenan mediante DMA en la memoria correspondiente. Las aplicaciones de espacio de usuario utilizan los nodos de vídeo correspondientes a cada cámara para acceder a los datos de la cámara.ampEn el Capítulo 4 (Diseño de referencia) se ofrecen ejemplos de uso de esta arquitectura de software.
• Cualquier controlador de sensor específico compatible con el framework V4L2 puede conectarse y funcionar en esta arquitectura. Consulte [8] para obtener información sobre cómo integrar un nuevo controlador de sensor en el SDK de Linux.

Arquitectura del software de canalización de imágenes

• El SDK de Linux AM6x proporciona el framework GStreamer (GST), que puede utilizarse en el entorno de servidor para integrar los componentes de procesamiento de imágenes en diversas aplicaciones. Los aceleradores de hardware (HWA) del SoC, como el acelerador de preprocesamiento de visión (VPAC) o ISP, el codificador/decodificador de vídeo y el motor de cómputo de aprendizaje profundo, se acceden a través de GST. pluginsEl VPAC (ISP) en sí tiene varios bloques, incluido el subsistema de imágenes de visión (VISS), la corrección de distorsión de lente (LDC) y el multiescalar (MSC), cada uno correspondiente a un complemento GST.
• La figura 3-2 muestra el diagrama de bloques de una tubería de imágenes típica desde la cámara hasta la codificación o procesamiento profundo.
  Aplicaciones de aprendizaje en AM62A. Para más detalles sobre el flujo de datos de extremo a extremo, consulte la documentación del SDK de EdgeAI.

Para AM62P, la canalización de imágenes es más sencilla porque no hay ISP en AM62P.

Con un nodo de vídeo creado para cada cámara, la canalización de imágenes basada en GStreamer permite el procesamiento simultáneo de múltiples entradas de cámara (conectadas a través de la misma interfaz CSI-2 RX). En el siguiente capítulo se presenta un diseño de referencia con GStreamer para aplicaciones multicámara.

Diseño de referencia

Este capítulo presenta un diseño de referencia para ejecutar aplicaciones de múltiples cámaras en AM62A EVM, utilizando el kit de solución de cámara Arducam V3Link para conectar 4 cámaras CSI-2 a AM62A y ejecutar la detección de objetos para las 4 cámaras.

Cámaras compatibles
El kit Arducam V3Link es compatible con cámaras basadas en FPD-Link/V3-Link y con cámaras CSI-2 compatibles con Raspberry Pi. Se han probado las siguientes cámaras:

• Ingeniería D3 D3RCM-IMX390-953
• Imágenes de leopardo LI-OV2312-FPDLINKIII-110H
• Cámaras IMX219 en el kit de solución de cámara Arducam V3Link

Configuración de cuatro cámaras IMX219
Siga las instrucciones de la Guía de inicio rápido del EVM del kit de inicio AM62A para configurar el EVM SK-AM62A-LP (AM62A SK) y la Guía de inicio rápido de la solución de cámara ArduCam V3Link para conectar las cámaras al AM62A SK mediante el kit V3Link. Asegúrese de que los pines de los cables flexibles, las cámaras, la placa V3Link y el AM62A SK estén correctamente alineados.

La Figura 4-1 muestra la configuración utilizada para el diseño de referencia de este informe. Los componentes principales de la configuración incluyen:

• 1 placa EVM SK-AM62A-LP
• 1 placa adaptadora Arducam V3Link d-ch
• Cable FPC que conecta Arducam V3Link a SK-AM62A
• 4 adaptadores de cámara V3Link (serializadores)
• 4 cables coaxiales RF para conectar los serializadores V3Link al kit d-ch V3Link
• Cámaras 4X IMX219
• 4 cables CSI-2 de 22 pines para conectar cámaras a serializadores
• Cables: cable HDMI, USB-C para alimentar SK-AM62A-LP y fuente de alimentación de 12 V para el kit V3Link d-ch)
• Otros componentes no mostrados en la Figura 4-1: tarjeta micro-SD, cable micro-USB para acceder a SK-AM62A-LP y Ethernet para transmisión

Configuración de cámaras y la interfaz CSI-2 RX
Configure el software según las instrucciones de la Guía de inicio rápido de Arducam V3Link. Tras ejecutar el script de configuración de la cámara (setup-imx219.sh), el formato de la cámara, el formato de la interfaz CSI-2 RX y las rutas desde cada cámara al nodo de vídeo correspondiente se configurarán correctamente. Se crean cuatro nodos de vídeo para las cuatro cámaras IMX219. El comando "v4l2-ctl –list-devices" muestra todos los dispositivos de vídeo V4L2, como se muestra a continuación:

Hay 6 nodos de vídeo y 1 nodo multimedia en tiscsi2rx. Cada nodo de vídeo corresponde a un contexto DMA asignado por el controlador CSI2 RX. De los 6 nodos de vídeo, 4 se utilizan para las 4 cámaras IMX219, como se muestra en la topología de canalización multimedia a continuación:

Como se muestra arriba, la entidad multimedia 30102000.ticsi2rx tiene 6 pads de origen, pero solo se utilizan los 4 primeros, cada uno para un IMX219. La topología de la tubería de medios también se puede ilustrar gráficamente. Ejecute el siguiente comando para generar un punto. file:

Luego ejecute el siguiente comando en una PC host Linux para generar un PNG file:

La Figura 4-2 es una imagen generada con los comandos indicados anteriormente. Los componentes de la arquitectura de software de la Figura 3-1 se pueden encontrar en este gráfico.

Transmisión desde cuatro cámaras
Con la configuración correcta del hardware y el software, se pueden ejecutar aplicaciones multicámara desde el espacio de usuario. Para AM62A, el ISP debe estar ajustado para producir una buena calidad de imagen. Consulte la Guía de Ajuste del ISP de AM6xA para saber cómo ajustar el ISP. Las siguientes secciones presentan ejemplos.ampLos procesos de transmisión de datos de la cámara a una pantalla, transmisión de datos de la cámara a una red y almacenamiento de los datos de la cámara en files.

Transmisión de datos de la cámara para mostrarlos
Una aplicación básica de este sistema multicámara es transmitir los vídeos de todas las cámaras a una pantalla conectada al mismo SoC. El siguiente es un ejemplo de una canalización de GStreamer.ample de transmisión de cuatro IMX219 a una pantalla (los números de nodo de video y los números de v4l-subdev en la tubería probablemente cambiarán de un reinicio a otro).

Transmisión de datos de la cámara a través de Ethernet
En lugar de transmitir a una pantalla conectada al mismo SoC, los datos de la cámara también pueden transmitirse a través de Ethernet. El receptor puede ser otro procesador AM62A/AM62P o un PC host. El siguiente es un ejemploampMétodo de transmisión de datos de la cámara a través de Ethernet (usando dos cámaras para simplificar) (tenga en cuenta el complemento del codificador utilizado en la canalización):

Lo siguiente es un exampLe de recibir los datos de la cámara y transmitirlos a una pantalla en otro procesador AM62A/AM62P:

Almacenamiento de datos de la cámara en Files
En lugar de transmitir a una pantalla o a través de una red, los datos de la cámara se pueden almacenar localmente. files. La siguiente tubería almacena los datos de cada cámara en una file (usando dos cámaras como ejemplo)ample para simplificar).

Inferencia de aprendizaje profundo multicámara

AM62A está equipado con un acelerador de aprendizaje profundo (C7x-MMA) con hasta dos TOPS, capaces de ejecutar diversos tipos de modelos de aprendizaje profundo para clasificación, detección de objetos, segmentación semántica y más. Esta sección muestra cómo AM62A puede ejecutar simultáneamente cuatro modelos de aprendizaje profundo en cuatro señales de cámara diferentes.

Selección de modelo
EdgeAI-ModelZoo de TI ofrece cientos de modelos de vanguardia, que se convierten/exportan desde sus marcos de entrenamiento originales a un formato compatible con la integración para que puedan descargarse en el acelerador de aprendizaje profundo C7x-MMA. El Analizador de Modelos de Edge AI Studio, basado en la nube, ofrece una herramienta de selección de modelos fácil de usar. Se actualiza dinámicamente para incluir todos los modelos compatibles con TI EdgeAI-ModelZoo. La herramienta no requiere experiencia previa y ofrece una interfaz intuitiva para introducir las características necesarias en el modelo deseado.

Para este experimento de aprendizaje profundo multicámara se seleccionó el modelo TFL-OD-2000-ssd-mobV1-coco-mlperf. Este modelo de detección multiobjeto se desarrolló en el entorno TensorFlow con una resolución de entrada de 300×300. La Tabla 4-1 muestra las características principales de este modelo al entrenarse con el conjunto de datos cCOCO, con aproximadamente 80 clases diferentes.

Tabla 4-1. Características destacadas del modelo TFL-OD-2000-ssd-mobV1-coco-mlperf.

Modelo	Tarea	Resolución	FPS	mapa 50% Precisión en COCO	Latencia/Fotograma (ms)	DDR BW Utilización (MB/Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Detección de múltiples objetos	300×300	~152	15.9	6.5	18.839

Configuración de la tubería
La Figura 4-3 muestra la secuencia de procesamiento de GStreamer de aprendizaje profundo de cuatro cámaras. TI ofrece un conjunto de GStreamer. plugins que permiten descargar parte del procesamiento de medios y la inferencia de aprendizaje profundo a los aceleradores de hardware. Algunos ejemplosamples de estos plugins Incluye tiovxisp, tiovxmultiscaler, tiovxmosaic y tidlinferer. La canalización de la Figura 4-3 incluye todos los requisitos. plugins Para una canalización GStreamer multitrayecto para entradas de 4 cámaras, cada una con preprocesamiento de medios, inferencia de aprendizaje profundo y posprocesamiento. El duplicado plugins para cada una de las cámaras, las rutas se apilan en el gráfico para una demostración más sencilla.
Los recursos de hardware disponibles se distribuyen uniformemente entre las cuatro rutas de cámara. Por ejemplo, AM62A contiene dos multiescaladores de imagen: MSC0 y MSC1. La canalización dedica explícitamente MSC0 al procesamiento de las rutas de las cámaras 1 y 2, mientras que MSC1 se dedica a las cámaras 3 y 4.

La salida de las cuatro cámaras se reduce y se concatena mediante el complemento tiovxmosaic. La salida se muestra en una sola pantalla. La Figura 4-4 muestra la salida de las cuatro cámaras con un modelo de aprendizaje profundo que ejecuta la detección de objetos. Cada cámara funciona a 30 FPS y alcanza un total de 120 FPS.

A continuación se muestra el script de canalización completo para el caso de uso de aprendizaje profundo multicámara que se muestra en la Figura 4-3.

Análisis de rendimiento

La configuración con cuatro cámaras que utilizan la placa V3Link y el AM62A SK se probó en varios escenarios de aplicación, incluida la visualización directa en una pantalla, la transmisión a través de Ethernet (cuatro canales UDP) y la grabación en 4 cámaras independientes. files, y con inferencia de aprendizaje profundo. En cada experimento, monitoreamos la velocidad de fotogramas y el uso de los núcleos de la CPU para explorar las capacidades de todo el sistema.

Como se mostró previamente en la Figura 4-4, la canalización de aprendizaje profundo utiliza el complemento tiperfoverlay de GStreamer para mostrar la carga de los núcleos de la CPU como un gráfico de barras en la parte inferior de la pantalla. De forma predeterminada, el gráfico se actualiza cada dos segundos para mostrar la carga como porcentaje de utilización.tage. Además del complemento tiperfoverlay de GStreamer, la herramienta perf_stats es una segunda opción para mostrar el rendimiento del núcleo directamente en la terminal con una opción para guardar en un fileEsta herramienta es más precisa que tTiperfoverlay, ya que esta última añade carga adicional a los núcleos ARMm y a la DDR para dibujar el gráfico y superponerlo en la pantalla. La herramienta perf_stats se utiliza principalmente para recopilar resultados de utilización del hardware en todos los casos de prueba que se muestran en este documento. Algunos de los núcleos de procesamiento y aceleradores importantes estudiados en estas pruebas incluyen los procesadores principales (cuatro núcleos ARM A53 a 1.25 GHz), el acelerador de aprendizaje profundo (C7x-MMA a 850 MHz), el VPAC (ISP) con VISS y multiescaladores (MSC0 y MSC1), y las operaciones DDR.

La Tabla 5-1 muestra el rendimiento y la utilización de recursos al usar AM62A con cuatro cámaras para tres casos de uso, incluida la transmisión de cuatro cámaras a una pantalla, la transmisión a través de Ethernet y la grabación en cuatro cámaras separadas. files. Se implementan dos pruebas en cada caso de uso: solo con la cámara y con inferencia de aprendizaje profundo. Además, la primera fila de la Tabla 5-1 muestra la utilización del hardware cuando solo se ejecutaba el sistema operativo en AM62A sin ninguna aplicación de usuario. Esto se utiliza como referencia para comparar al evaluar la utilización del hardware de los demás casos de prueba. Como se muestra en la tabla, las cuatro cámaras con aprendizaje profundo y visualización en pantalla funcionaron a 30 FPS cada una, con un total de 120 FPS para las cuatro cámaras. Esta alta velocidad de fotogramas se logra con solo el 86 % de la capacidad total del acelerador de aprendizaje profundo (C7x-MMA). Además, es importante tener en cuenta que el acelerador de aprendizaje profundo se registró a 850 MHz en lugar de 1000 MHz en estos experimentos, lo que representa aproximadamente solo el 85 % de su rendimiento máximo.

Tabla 5-1. Rendimiento (FPS) y utilización de recursos de AM62A cuando se utiliza con 4 cámaras IMX219 para visualización en pantalla, transmisión Ethernet y grabación en Files, y realizar inferencias de aprendizaje profundo

Aplicación n	Tubería (operación) )	Producción	FPS canalización promedio s	FPS total	MPU A53s a 1.25 GHz [%]	MCU R5 [%]	DLA (C7x-MMA) a 850 MHz [%]	VISTA [%]	MSC0 [%]	MSC1 [%]	RDA Rd [MB/s]	RDA Wr [MB/s]	RDA Total [MB/s]
Sin aplicación	Línea base Sin operación	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Cámara solo	Arroyo A la pantalla	Pantalla	30	120	12	12	0	70	61	60	1015	757	1782
	Transmisión a través de Ethernet	PUD: 4 puertos 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Registro a files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Leva con aprendizaje profundo	Aprendizaje profundo: Detección de objetos MobV1- coco	Pantalla	30	120	38	25	86	71	85	82	2926	1676	4602
	Aprendizaje profundo: Detección de objetos MobV1- coco y Stream over Ethernet	PUD: 4 puertos 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Aprendizaje profundo: Detección de objetos MobV1- coco y registro a files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Resumen
Este informe de aplicación describe cómo implementar aplicaciones multicámara en la familia de dispositivos AM6x. Se proporciona un diseño de referencia basado en el kit de solución de cámara V3Link de Arducam y el módulo de visualización de vídeo (EVM) AM62A SK, con varias aplicaciones de cámara que utilizan cuatro cámaras IMX219, como la transmisión y la detección de objetos. Se recomienda a los usuarios adquirir el kit de solución de cámara V3Link de Arducam y replicar estas experiencias.ampEl informe también proporciona un análisis detallado del rendimiento del AM62A al utilizar cuatro cámaras en diversas configuraciones, que incluyen visualización en una pantalla, transmisión por Ethernet y grabación en files. También muestra la capacidad de AM62A para realizar inferencias de aprendizaje profundo en cuatro transmisiones de cámara independientes en paralelo. Si tiene alguna pregunta sobre la ejecución de estas pruebas...ampLes, envíe una consulta en el foro TI E2E.

Referencias

1. Guía de inicio rápido del kit de inicio AM62A EVM
2. Guía de inicio rápido de la solución de cámara ArduCam V3Link
3. Documentación del SDK de Edge AI para AM62A
4. Cámaras inteligentes Edge AI con procesador AM62A de bajo consumo
5. Sistemas de espejo de cámara en AM62A
6. Sistemas de monitorización de conductores y ocupantes en AM62A
7. Aplicación de cámara de cuatro canales para sonido envolvente View y sistemas de cámaras CMS
8. Academia Linux AM62Ax sobre la habilitación del sensor CIS-2
9. Modelo de IA de bordeZoo
10. Estudio de inteligencia artificial de borde
11. Herramienta Perf_stats

Piezas de TI a las que se hace referencia en esta nota de aplicación:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

AVISO IMPORTANTE Y DESCARGO DE RESPONSABILIDAD

TI PROPORCIONA DATOS TÉCNICOS Y DE CONFIABILIDAD (INCLUYENDO HOJAS DE DATOS), RECURSOS DE DISEÑO (INCLUYENDO DISEÑOS DE REFERENCIA), APLICACIONES U OTROS CONSEJOS DE DISEÑO, WEB HERRAMIENTAS, INFORMACIÓN DE SEGURIDAD Y OTROS RECURSOS "TAL CUAL" Y CON TODAS LAS FALLAS, Y RENUNCIA A TODAS LAS GARANTÍAS, EXPRESAS E IMPLÍCITAS, INCLUYENDO, SIN LIMITACIÓN, CUALQUIER GARANTÍA IMPLÍCITA DE COMERCIABILIDAD, ADECUACIÓN PARA UN PROPÓSITO PARTICULAR O PROPIEDAD INTEGRAL .

Estos recursos están destinados a desarrolladores expertos que diseñan con productos de TI. Usted es el único responsable

1. seleccionar los productos TI adecuados para su aplicación,
2. diseñar, validar y probar su aplicación, y
3. garantizar que su aplicación cumpla con los estándares aplicables y cualquier otro requisito de seguridad, protección, reglamentario o de otro tipo.

Estos recursos están sujetos a cambios sin previo aviso. TI le permite utilizar estos recursos únicamente para el desarrollo de una aplicación que utilice los productos de TI descritos en ellos. Queda prohibida cualquier otra reproducción o exhibición de estos recursos. No se concede ninguna licencia sobre ningún otro derecho de propiedad intelectual de TI ni sobre ningún derecho de propiedad intelectual de terceros. TI no se responsabiliza de ninguna reclamación, daño, coste, pérdida o responsabilidad derivada del uso de estos recursos, y usted indemnizará plenamente a TI y a sus representantes por cualquier reclamación, daño, coste, pérdida o responsabilidad derivada del uso de estos recursos.

Los productos de TI se proporcionan sujetos a los Términos de venta de TI u otros términos aplicables disponibles en ti.com o proporcionado junto con dichos productos de TI. La provisión de estos recursos por parte de TI no amplía ni altera de otro modo las garantías o exenciones de responsabilidad aplicables de TI para los productos de TI.

TI objeta y rechaza cualquier término adicional o diferente que usted haya propuesto.

AVISO IMPORTANTE

• Dirección postal: Texas Instruments, Apartado postal 655303, Dallas, Texas 75265
• Derechos de autor © 2024, Texas Instruments Incorporated

Preguntas frecuentes

P: ¿Puedo utilizar cualquier tipo de cámara con la familia de dispositivos AM6x?

La familia AM6x admite diferentes tipos de cámaras, incluyendo las que tienen o no ISP integrado. Consulte las especificaciones para obtener más información sobre los tipos de cámaras compatibles.

:¿Cuáles son las principales diferencias entre AM62A y AM62P en el procesamiento de imágenes?

Las principales variaciones incluyen los tipos de cámaras compatibles, los datos de salida de la cámara y la presencia de HWA de ISP, HWA de aprendizaje profundo y HWA de gráficos 3D. Consulte la sección de especificaciones para obtener una comparación detallada.

 

Documentos / Recursos

Texas Instruments AM6x desarrolla cámara múltiple [pdf] Guía del usuario AM62A, AM62P, AM6x Revelado de varias cámaras, AM6x, Revelado de varias cámaras, Varias cámaras, Cámara

Referencias

• Manual de usuario