टेक्सास इन्स्ट्रुमेंट्स AM6x एकाधिक कॅमेरा वापरकर्ता मार्गदर्शक विकसित करत आहे

सुरक्षा देखरेख: Enhances surveillance coverage, object tracking, and recognition accuracy.
भोवती View: Enables stereo vision for tasks like obstacle detection and object manipulation.

केबिन रेकॉर्डर आणि कॅमेरा मिरर सिस्टम: विस्तारित कव्हरेज प्रदान करते आणि ब्लाइंड स्पॉट्स दूर करते.
वैद्यकीय प्रतिमा: Offers enhanced precision in surgical navigation and endoscopy.

ड्रोन आणि एरियल इमेजिंग: Capture high-resolution images from different angles for various applications.

Connecting Multiple CSI-2 Cameras to the SoC:
To connect multiple CSI-2 cameras to the SoC, follow the guidelines provided in the user manual. Ensure proper alignment and connection of each camera to the designated ports on the SoC.

अर्जाची नोंद
AM6x वर मल्टीपल-कॅमेरा अॅप्लिकेशन्स विकसित करणे

जियानझोंग जू, कुतैबा सालेह

गोषवारा
This report describes application development using multiple CSI-2 cameras on the AM6x family of devices. A reference design of object detection with deep learning on 4 cameras on the AM62A SoC is presented with performance analysis. General principles of the design apply to other SoCs with a CSI-2 interface, such as AM62x and AM62P.

परिचय

आधुनिक दृष्टी प्रणालींमध्ये एम्बेडेड कॅमेरे महत्त्वाची भूमिका बजावतात. एका प्रणालीमध्ये अनेक कॅमेरे वापरल्याने या प्रणालींची क्षमता वाढते आणि एकाच कॅमेऱ्याने शक्य नसलेल्या क्षमता सक्षम होतात. खाली काही उदाहरणे दिली आहेतamples of applications using multiple embedded cameras:

सुरक्षा देखरेख: अनेक कॅमेरे धोरणात्मकरित्या सर्वसमावेशक देखरेख कव्हरेज प्रदान करतात. ते पॅनोरॅमिक सक्षम करतात views, reduce blind spots, and enhance the accuracy of object tracking and recognition, improving overall security measures.
भोवती View: Multiple cameras are used to create a stereo vision setup, enabling three-dimensional information and the estimation of depth. This is crucial for tasks such as obstacle detection in autonomous vehicles, precise object manipulation in robotics, and enhanced realism of augmented reality experiences.

Cabin Recorder and Camera Mirror System: A car cabin recorder with multiple cameras can provide more coverage using a single processor. Similarly, a camera mirror system with two or more cameras can expand the driver’s field of view आणि गाडीच्या सर्व बाजूंनी असलेले ब्लाइंड स्पॉट्स काढून टाका.
Medical Imaging: Multiple cameras can be used in medical imaging for tasks like surgical navigation, providing surgeons with multiple perspectives for enhanced precision. In endoscopy, multiple cameras enable a thorough examination of internal organs.

Drones and Aerial Imaging: Drones often come equipped with multiple cameras to capture high-resolution images or videos from different angles. This is useful in applications like aerial photography, agriculture monitoring, and land surveying.
With the advancement of microprocessors, multiple cameras can be integrated into a single System-on-Chip.
(SoC) to provide compact and efficient solutions. The AM62Ax SoC, with high-performance video/vision processing and deep learning acceleration, is an ideal device for the above-mentioned use cases. Another AM6x device, the AM62P, is built for high-performance embedded 3D display applications. Equipped with 3D graphics acceleration, the AM62P can easily stitch together the images from multiple cameras and produce a high-resolution panoramic view. AM62A/AM62P SoC ची नाविन्यपूर्ण वैशिष्ट्ये [4], [5], [6], इत्यादी विविध प्रकाशनांमध्ये सादर केली गेली आहेत. ही अनुप्रयोग टीप त्या वैशिष्ट्यांच्या वर्णनांची पुनरावृत्ती करणार नाही तर त्याऐवजी AM2A/AM62P वरील एम्बेडेड व्हिजन अनुप्रयोगांमध्ये अनेक CSI-62 कॅमेरे एकत्रित करण्यावर लक्ष केंद्रित करते.

इमेज प्रोसेसिंगच्या बाबतीत, तक्ता १-१ मध्ये AM1A आणि AM1P मधील मुख्य फरक दाखवले आहेत.

तक्ता १-१. प्रतिमा प्रक्रियेत AM1A आणि AM1P मधील फरक

SoC	AM62A	AM62P
समर्थित कॅमेरा प्रकार	With or without a built-in ISP	अंगभूत ISP सह
कॅमेरा आउटपुट डेटा	रॉ/YUV/RGB	YUV/RGB
आयएसपी एचडब्ल्यूए	होय	नाही
डीप लर्निंग एचडब्ल्यूए	होय	नाही
३-डी ग्राफिक्स एचडब्ल्यूए	नाही	होय

SoC ला अनेक CSI-2 कॅमेरे जोडणे
AM6x SoC वरील कॅमेरा सबसिस्टममध्ये खालील घटक आहेत, जसे की आकृती 2-1 मध्ये दर्शविले आहे:

MIPI D-PHY Receiver: receives video streams from external cameras, supporting up to 1.5 Gbps per data lane for 4 lanes.

CSI-2 Receiver (RX): receives video streams from the D-PHY receiver and either directly sends the streams to the ISP or dumps the data to DDR memory. This module supports up to 16 virtual channels.
SHIM: a DMA wrapper that enables sending the captured streams to memory over DMA. Multiple DMA contexts can be created by this wrapper, with each context corresponding to a virtual channel of the CSI-2 Receiver.

Multiple cameras can be supported on the AM6x through the use of virtual channels of CSI-2 RX, even though there is only one CSI-2 RX interface on the SoC. An external CSI-2 aggregating component is needed to combine multiple camera streams and send them to a single SoC. Two types of CSI-2 aggregating solutions can be used, described in the following sections.

CSI-2 Aggregator Using SerDes
अनेक कॅमेरा स्ट्रीम एकत्र करण्याचा एक मार्ग म्हणजे सिरीयलायझिंग आणि डिसेरियलायझिंग (SerDes) सोल्यूशन वापरणे. प्रत्येक कॅमेऱ्यातील CSI-2 डेटा सिरीयलायझरद्वारे रूपांतरित केला जातो आणि केबलद्वारे ट्रान्सफर केला जातो. डिसेरियलायझर केबल्समधून ट्रान्सफर केलेला सर्व सिरीयलायझ्ड डेटा (प्रति कॅमेरा एक केबल) प्राप्त करतो, स्ट्रीम्सना परत CSI-2 डेटामध्ये रूपांतरित करतो आणि नंतर SoC वरील सिंगल CSI-2 RX इंटरफेसमध्ये इंटरलीव्ह्ड CSI-2 स्ट्रीम पाठवतो. प्रत्येक कॅमेरा स्ट्रीम एका अद्वितीय व्हर्च्युअल चॅनेलद्वारे ओळखला जातो. हे एकत्रित समाधान कॅमेऱ्यांपासून SoC पर्यंत 15 मीटर पर्यंतच्या लांब-अंतराच्या कनेक्शनला अनुमती देण्याचा अतिरिक्त फायदा देते.

AM3x Linux SDK मध्ये समर्थित FPD-Link किंवा V6-Link serializers आणि deserializers (SerDes) हे या प्रकारच्या CSI-2 अ‍ॅग्रीगेटिंग सोल्यूशनसाठी सर्वात लोकप्रिय तंत्रज्ञान आहेत. [3] मध्ये स्पष्ट केल्याप्रमाणे, FPD-Link आणि V7-Link दोन्ही डीसेरियलायझर्समध्ये बॅक चॅनेल आहेत जे सर्व कॅमेरे सिंक्रोनाइझ करण्यासाठी फ्रेम सिंक सिग्नल पाठवण्यासाठी वापरले जाऊ शकतात.
आकृती 2-2 माजी दाखवतेampएकाच AM6x SoC ला अनेक कॅमेरे जोडण्यासाठी SerDes वापरण्याची पद्धत.

एक माजीample of this aggregating solution can be found in the Arducam V3Link Camera Solution Kit. This kit has a deserializer hub which aggregates 4 CSI-2 camera streams, as well as 4 pairs of V3link serializers and IMX219 cameras, including FAKRA coaxial cables and 22-pin FPC cables. The reference design discussed later is built on this kit.

CSI-2 Aggregator without Using SerDes
या प्रकारचा अ‍ॅग्रीगेटर अनेक MIPI CSI-2 कॅमेऱ्यांशी थेट संवाद साधू शकतो आणि सर्व कॅमेऱ्यांमधील डेटा एकाच CSI-2 आउटपुट स्ट्रीममध्ये एकत्रित करू शकतो.

आकृती 2-3 माजी दाखवतेample of such a system. This type of aggregating solution does not use any serializer/deserializer but is limited by the maximum distance of CSI-2 data transfer, which is up to 30cm. The AM6x Linux SDK does not support this type of CSI-2 aggregator

सॉफ्टवेअरमध्ये अनेक कॅमेरे सक्षम करणे

Camera Subsystem Software Architecture
आकृती ३-१ मध्ये AM3A/AM1P Linux SDK मधील कॅमेरा कॅप्चर सिस्टम सॉफ्टवेअरचा उच्च-स्तरीय ब्लॉक आकृती दाखवली आहे, जो आकृती २-२ मधील HW सिस्टमशी संबंधित आहे.

हे सॉफ्टवेअर आर्किटेक्चर आकृती २-२ मध्ये दाखवल्याप्रमाणे, SerDes वापरून SoC ला अनेक कॅमेरा स्ट्रीम प्राप्त करण्यास सक्षम करते. FPD-Link/V2-Link SerDes प्रत्येक कॅमेऱ्याला एक अद्वितीय I2C पत्ता आणि व्हर्च्युअल चॅनेल नियुक्त करते. प्रत्येक कॅमेऱ्यासाठी अद्वितीय I3C पत्त्यासह एक अद्वितीय डिव्हाइस ट्री ओव्हरले तयार केले पाहिजे. CSI-2 RX ड्रायव्हर अद्वितीय व्हर्च्युअल चॅनेल नंबर वापरून प्रत्येक कॅमेरा ओळखतो आणि प्रत्येक कॅमेरा स्ट्रीमसाठी DMA संदर्भ तयार करतो. प्रत्येक DMA संदर्भासाठी एक व्हिडिओ नोड तयार केला जातो. त्यानंतर प्रत्येक कॅमेऱ्यातील डेटा DMA वापरून मेमरीमध्ये प्राप्त केला जातो आणि त्यानुसार संग्रहित केला जातो. वापरकर्ता स्पेस अनुप्रयोग कॅमेरा डेटा अॅक्सेस करण्यासाठी प्रत्येक कॅमेऱ्याशी संबंधित व्हिडिओ नोड्स वापरतात. उदा.amples of using this software architecture are given in Chapter 4 – Reference Design.
V4L2 फ्रेमवर्कशी सुसंगत असलेला कोणताही विशिष्ट सेन्सर ड्रायव्हर या आर्किटेक्चरमध्ये प्लग आणि प्ले करू शकतो. Linux SDK मध्ये नवीन सेन्सर ड्रायव्हर कसा एकत्रित करायचा याबद्दल [8] पहा.

Image Pipeline Software Architecture

The AM6x Linux SDK provides the GStreamer (GST) framework, which can be used in the ser space to integrate the image processing components for various applications. The Hardware Accelerators (HWA) on the SoC, such as the Vision Pre-processing Accelerator (VPAC) or ISP, video encoder/decoder, and deep learning compute engine, are accessed through GST plugins. व्हीपीएसी (आयएसपी) मध्येच अनेक ब्लॉक्स आहेत, ज्यात व्हिजन इमेजिंग सब-सिस्टम (व्हीआयएसएस), लेन्स डिस्टॉर्शन करेक्शन (एलडीसी) आणि मल्टीस्केलर (एमएससी) यांचा समावेश आहे, प्रत्येक ब्लॉक जीएसटी प्लगइनशी संबंधित आहे.

Figure 3-2 shows the block diagram of a typical image pipeline from the camera to encoding or deep
learning applications on AM62A. For more details about the end-to-end data flow, refer to the EdgeAI SDK documentation.

For AM62P, the image pipeline is simpler because there is no ISP on AM62P.

प्रत्येक कॅमेऱ्यासाठी तयार केलेल्या व्हिडिओ नोडसह, GStreamer-आधारित इमेज पाइपलाइन एकाच वेळी अनेक कॅमेरा इनपुट (समान CSI-2 RX इंटरफेसद्वारे कनेक्ट केलेले) प्रक्रिया करण्यास अनुमती देते. मल्टी-कॅमेरा अनुप्रयोगांसाठी GStreamer वापरून संदर्भ डिझाइन पुढील प्रकरणात दिले आहे.

संदर्भ डिझाइन

या प्रकरणात AM62A EVM वर मल्टीपल-कॅमेरा अॅप्लिकेशन्स चालवणे, Arducam V3Link कॅमेरा सोल्यूशन किट वापरून 4 CSI-2 कॅमेरे AM62A शी जोडणे आणि सर्व 4 कॅमेऱ्यांसाठी ऑब्जेक्ट डिटेक्शन चालवणे यांचा संदर्भ डिझाइन सादर केला आहे.

समर्थित कॅमेरे
The Arducam V3Link kit works with both FPD-Link/V3-Link-based cameras and Raspberry Pi-compatible CSI-2 cameras. The following cameras have been tested:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219 cameras in the Arducam V3Link Camera Solution Kit

Setting up Four IMX219 Cameras
Follow the instructions provided in the AM62A Starter Kit EVM Quick Start Guide to set up the SK-AM62A-LP EVM (AM62A SK) and ArduCam V3Link Camera Solution Quick Start Guide to connect the cameras to AM62A SK through the V3Link kit. Make sure the pins on the flex cables, cameras, V3Link board, and AM62A SK are all aligned properly.

Figure 4-1 shows the setup used for the reference design in this report. The main components in the setup include:

1X SK-AM62A-LP EVM board
1X Arducam V3Link d-ch adapter board
FPC cable connecting Arducam V3Link to SK-AM62A

4X V3Link camera adapters (serializers)
4X RF coaxial cables to connect V3Link serializers to V3Link d-ch kit
4X IMX219 Cameras

4X CSI-2 22-pin cables to connect cameras to serializers
Cables: HDMI cable, USB-C to power SK-AM62A-LP and 12V power sourced for V3Link d-ch kit)
Other components not shown in Figure 4-1: micro-SD card, micro-USB cable to access SK-AM62A-LP, and Ethernet for streaming

Configuring Cameras and CSI-2 RX Interface
Set up the software according to the instructions provided in the Arducam V3Link Quick Start Guide. After running the camera setup script, setup-imx219.sh, the camera’s format, the CSI-2 RX interface format, and the routes from each camera to the corresponding video node will be configured properly. Four video nodes are created for the four IMX219 cameras. Command “v4l2-ctl –list-devices” displays all the V4L2 video devices, as shown below:

There are 6 video nodes and 1 media node under tiscsi2rx. Each video node corresponds to a DMA context allocated by the CSI2 RX driver. Out of the 6 video nodes, 4 are used for the 4 IMX219 cameras, as shown in the media pipe topology below:

वर दाखवल्याप्रमाणे, मीडिया एंटिटी 30102000.ticsi2rx मध्ये 6 सोर्स पॅड आहेत, परंतु फक्त पहिले 4 वापरले जातात, प्रत्येकी एका IMX219 साठी. मीडिया पाईप टोपोलॉजी ग्राफिकली देखील दर्शविली जाऊ शकते. डॉट जनरेट करण्यासाठी खालील कमांड चालवा. file:

Then run the command below on a Linux host PC to generate a PNG file:

आकृती ४-२ ही वर दिलेल्या कमांड वापरून तयार केलेली चित्र आहे. आकृती ३-१ च्या सॉफ्टवेअर आर्किटेक्चरमधील घटक या आलेखात आढळू शकतात.

Streaming from Four Cameras
हार्डवेअर आणि सॉफ्टवेअर दोन्ही योग्यरित्या सेट केले असल्यास, मल्टीपल-कॅमेरा अॅप्लिकेशन्स वापरकर्त्याच्या जागेतून चालू शकतात. AM62A साठी, चांगली प्रतिमा गुणवत्ता निर्माण करण्यासाठी ISP ट्यून केलेले असणे आवश्यक आहे. ISP ट्यूनिंग कसे करावे यासाठी AM6xA ISP ट्यूनिंग मार्गदर्शक पहा. खालील विभाग उदाहरणे सादर करतातampकॅमेरा डेटा डिस्प्लेवर स्ट्रीम करणे, कॅमेरा डेटा नेटवर्कवर स्ट्रीम करणे आणि कॅमेरा डेटा स्टोअर करणे यासारख्या गोष्टी files.

Streaming Camera Data to Display
या मल्टी-कॅमेरा सिस्टीमचा एक मूलभूत उपयोग म्हणजे सर्व कॅमेऱ्यांमधील व्हिडिओ एकाच SoC शी जोडलेल्या डिस्प्लेवर स्ट्रीम करणे. खालील GStreamer पाइपलाइन एक्स आहेampएका डिस्प्लेवर चार IMX219 स्ट्रीमिंग करण्याचा अर्थ (पाइपलाइनमधील व्हिडिओ नोड क्रमांक आणि v4l-सबडेव्ह क्रमांक कदाचित रीबूटवरून रीबूटमध्ये बदलतील).

Streaming Camera Data through Ethernet
त्याच SoC शी जोडलेल्या डिस्प्लेवर स्ट्रीमिंग करण्याऐवजी, कॅमेरा डेटा इथरनेटद्वारे देखील स्ट्रीम केला जाऊ शकतो. रिसीव्हिंग साइड एकतर दुसरा AM62A/AM62P प्रोसेसर किंवा होस्ट पीसी असू शकतो. खालील उदाहरण आहेampइथरनेटद्वारे कॅमेरा डेटा स्ट्रीमिंगची पद्धत (सोप्यासाठी दोन कॅमेरे वापरून) (पाइपलाइनमध्ये वापरलेले एन्कोडर प्लगइन लक्षात घ्या):

खालील एक माजी आहेampकॅमेरा डेटा प्राप्त करणे आणि दुसऱ्या AM62A/AM62P प्रोसेसरवरील डिस्प्लेवर स्ट्रीम करणे:

Storing Camera Data to Files
Instead of streaming to a display or through a network, the camera data can be stored in local files. खालील पाइपलाइन प्रत्येक कॅमेऱ्याचा डेटा एका file (एक्स म्हणून दोन कॅमेरे वापरणे)ampसाधेपणासाठी ले).

Multicamera Deep Learning Inference

AM62A मध्ये दोन TOPS पर्यंत डीप लर्निंग अ‍ॅक्सिलरेटर (C7x-MMA) आहे, जे वर्गीकरण, ऑब्जेक्ट डिटेक्शन, सिमेंटिक सेग्मेंटेशन आणि बरेच काही करण्यासाठी विविध प्रकारचे डीप लर्निंग मॉडेल्स चालवण्यास सक्षम आहेत. हा विभाग AM62A एकाच वेळी चार वेगवेगळ्या कॅमेरा फीडवर चार डीप लर्निंग मॉडेल्स कसे चालवू शकतो हे दाखवतो.

मॉडेल निवड
The TI’s EdgeAI-ModelZoo provides hundreds of state-of-the-art models, which are converted/exported from their original training frameworks to an anembedded-friendlyy format so that they can be offloaded to the C7x-MMA deep learning accelerator. The cloud-based Edge AI Studio Model Analyzer provides an easy-to-use “Model Selection” tool. It is dynamically updated to include all models supported in TI EdgeAI-ModelZoo. The tool requires no previous experience and provides an easy-to-use interface to enter the features required in the desired model.

The TFL-OD-2000-ssd-mobV1-coco-mlperf was selected for this multi-camera deep learning experiment. This multi-object detection model is developed in the TensorFlow framework with a 300×300 input resolution. Table 4-1 shows the important features of this model when trained on the cCOCO dataset with about 80 different classes.

तक्ता ४-१. मॉडेल TFL-OD-4-ssd-mobV1-coco-mlperf ची वैशिष्ट्ये हायलाइट करा.

मॉडेल	कार्य	ठराव	FPS	mAP 50% Accuracy On COCO	लेटन्सी/फ्रेम (मिलीसेकेंड)	DDR BW Utilization (MB/ Frame)
टीएफएल-ओडी-२०००-एसएसडी- mobV1-कोको-ml प्रतिफळ	Multi Object Detection	300×300	~११०२८६	15.9	6.5	18.839

Pipeline Setup
Figure 4-3 shows the 4-camera deep learning GStreamer pipeline. TI provides a suite of GStreamer plugins जे काही मीडिया प्रोसेसिंग आणि डीप लर्निंग अनुमान हार्डवेअर अ‍ॅक्सिलरेटर्सवर ऑफलोड करण्यास अनुमती देतात. काही माजीampयापैकी लेस plugins tiovxisp, tiovxmultiscaler, tiovxmosaic आणि tidlinferer यांचा समावेश आहे. आकृती ४-३ मधील पाइपलाइनमध्ये सर्व आवश्यक समाविष्ट आहेत plugins for a multipath GStreamer pipeline for 4-camera inputs, each with media preprocess, deep learning inference, and postprocess. The duplicated plugins सुलभ प्रात्यक्षिकासाठी प्रत्येक कॅमेरा मार्ग आलेखात रचलेले आहेत.
The available hardware resources are evenly distributed among the four camera paths. For instance, AM62A contains two image multiscalers: MSC0 and MSC1. The pipeline explicitly dedicates MSC0 to process camera 1 and camera 2 paths, while MSC1 is dedicated to camera 3 and camera 4.

The output of the four camera pipelines is scaled down and concatenated together using the tiovxmosaic plugin. The output is displayed on a single screen. Figure 4-4 shows the output of the four cameras with a deep learning model running object detection. Each pipeline (camera) is running at 30 FPS and a total of 120 FPS.

आकृती ४-३ मध्ये दाखवलेल्या मल्टीकॅमेरा डीप लर्निंग वापर केससाठी संपूर्ण पाइपलाइन स्क्रिप्ट पुढे आहे.

कामगिरी विश्लेषण

The setup with four cameras using the V3Link board and the AM62A SK was tested in various application scenarios, including directly displaying on a screen, streaming over Ethernet (four UDP channels), recording to 4 separate files, and with deep learning inference. In each experiment, we monitored the frame rate and the utilization of CPU cores to explore the whole system’s capabilities.

आकृती ४-४ मध्ये पूर्वी दाखवल्याप्रमाणे, डीप लर्निंग पाइपलाइन स्क्रीनच्या तळाशी बार ग्राफ म्हणून CPU कोर लोड दाखवण्यासाठी टिपरफोव्हरले GStreamer प्लगइन वापरते. डीफॉल्टनुसार, लोड वापर टक्केवारी म्हणून दाखवण्यासाठी दर दोन सेकंदांनी ग्राफ अपडेट केला जातो.tage. In addition to the tiperfoverlay GStreamer plugin, the perf_stats tool is a second option to show core performance directly on the terminal with an option for saving to a file. This tool is more accurate compared to the tTiperfoverlayas the latter adds extra load on theARMm cores and the DDR to draw the graph and overlay it on the screen. The perf_stats tool is mainly used to collect hardware utilization results in all of the test cases shown in this document. Some of the important processing cores and accelerators studied in these tests include the main processors (four A53 Arm cores @ 1.25GHz), the deep learning accelerator (C7x-MMA @ 850MHz), the VPAC (ISP) with VISS and multiscalers (MSC0 and MSC1), and DDR operations.

Table 5-1 shows the performance and resource utilization when using AM62A with four cameras for three use cases, including streaming four cameras to a display, streaming over Ethernet, and recording to four separate files. Two tests are implemented in each use case: with the camera only and with deep learning inference. In addition, the first row in Table 5-1 shows hardware utilizations when only the operating system was running on AM62A without any user applications. This is used as a baseline to compare against when evaluating hardware utilizations of the other test cases. As shown in the table, the four cameras with deep learning and screen display operated at 30 FPS each ,with a total of 120 FPS for the four cameras. This high frame rate is achieved with only 86% of the deep learning accelerator (C7x-MMA) full capacity. In addition, it is important to note that the deep learning accelerator was clocked at 850MHz instead of 1000MHz in these experiments, which is about only 85% of its maximum performance.

तक्ता ५-१. स्क्रीन डिस्प्ले, इथरनेट स्ट्रीम, रेकॉर्ड टू साठी ४ IMX5 कॅमेऱ्यांसह वापरल्यास AM1A चे कार्यप्रदर्शन (FPS) आणि संसाधन वापर Files, आणि डीप लर्निंग इन्फरन्सिंग करणे

अर्ज n	Pipeline (operation )	आउटपुट	FPS avg pipeline s	FPS एकूण	MPUs A53s @ 1.25 GHz [%]	एमसीयू आर५ [%]	DLA (C7x- MMA) @ 850 MHz [%]	व्हिसा [%]	MSC0 [%]	MSC1 [%]	डीडीआर Rd [MB/s]	डीडीआर Wr [MB/s]	डीडीआर Total [MB/s]
अ‍ॅप नाही	Baseline No operation	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
कॅमेरा फक्त	प्रवाह to Screen	पडदा	30	120	12	12	0	70	61	60	1015	757	1782
	Stream over Ethernet	UDP: ५९८६७,५९८६८ ports 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	रेकॉर्ड करण्यासाठी files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
कॅम with Deep learning	Deep learning: Object detection MobV1- coco	पडदा	30	120	38	25	86	71	85	82	2926	1676	4602
	Deep learning: Object detection MobV1- coco and Stream over Ethernet	UDP: ५९८६७,५९८६८ ports 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Deep learning: Object detection MobV1- coco and record to files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

सारांश
This application report describes how to implement multi-camera applications on the AM6x family of devices. A reference design based on Arducam’s V3Link Camera Solution Kit and AM62A SK EVM is provided in the report, with several camera applications using four IMX219 cameras, such as streaming and object detection. Users are encouraged to acquire the V3Link Camera Solution Kit from Arducam and replicate these examples. The report also provides a detailed analysis of the performance of AM62A while using four cameras under various configurations, including displaying to a screen, streaming over Ethernet, and recording to files. It also showsAM62A’sA capability of performing deep learning inference on four separate camera streams in parallel. If there are any questions about running these exampबरं, TI E2E फोरमवर चौकशी सबमिट करा.

संदर्भ

AM62A Starter Kit EVM Quick Start Guide

ArduCam V3Link Camera Solution Quick Start Guide
Edge AI SDK documentation for AM62A
Edge AI Smart Cameras Using Energy-Efficient AM62A Processor

Camera Mirror Systems on AM62A
Driver and Occupancy Monitoring Systems on AM62A
Quad Channel Camera Application for Surround View and CMS Camera Systems

AM62Ax Linux Academy on Enabling CIS-2 Sensor
Edge AI ModelZoo
Edge AI Studio

Perf_stats tool

TI Parts Referred in This Application Note:

https://www.ti.com/product/AM62A7

महत्त्वाची सूचना आणि अस्वीकरण

TI तांत्रिक आणि विश्वासार्हता डेटा (डेटा शीटसह), डिझाइन संसाधने (संदर्भ डिझाइनसह), अर्ज किंवा इतर डिझाइन सल्ला प्रदान करते, WEB साधने, सुरक्षितता माहिती, आणि इतर संसाधने “जशी आहे तशी” आणि सर्व दोषांसह, आणि सर्व हमी, व्यक्त आणि निहित, मर्यादेशिवाय कोणत्याही गर्भित वॉरंटीजसह अस्वीकरण तृतीय पक्षाच्या बौद्धिक संपत्ती अधिकारांचे गैर-उल्लंघन .

ही संसाधने TI उत्पादनांसह डिझाइन करणाऱ्या कुशल विकासकांसाठी आहेत. यासाठी तुम्ही पूर्णपणे जबाबदार आहात

तुमच्या अर्जासाठी योग्य TI उत्पादने निवडणे,

तुमचा अर्ज डिझाइन करणे, प्रमाणित करणे आणि चाचणी करणे, आणि
ensuring your application meets applicable standards, and any other safety, security, regulatory, or other requirements.

These resources are subject to change without notice. TI permits you to use these resources only for the development of an application that uses the TI products described in the resource. Other reproduction and display of these resources is prohibited. No license is granted to any other TI intellectual property right or to any third party intellectual property right. TI disclaims responsibility for, and you will fully indemnify TI and its representatives against, any claims, damages, costs, losses, and liabilities arising out of your use of these resources.

TI ची उत्पादने TI च्या विक्रीच्या अटींच्या अधीन किंवा वर उपलब्ध असलेल्या इतर लागू अटींच्या अधीन आहेत ti.com किंवा अशा TI उत्पादनांच्या संयोगाने प्रदान केले जाते. या संसाधनांची TI ची तरतूद TI उत्पादनांसाठी TI च्या लागू वॉरंटी किंवा वॉरंटी अस्वीकरणांचा विस्तार किंवा अन्यथा बदल करत नाही.

TI तुम्ही प्रस्तावित केलेल्या कोणत्याही अतिरिक्त किंवा वेगळ्या अटींवर आक्षेप घेतो आणि नाकारतो.

महत्वाची सूचना

मेलिंग पत्ता: टेक्सास इन्स्ट्रुमेंट्स, पोस्ट ऑफिस बॉक्स 655303, डॅलस, टेक्सास 75265

वारंवार विचारले जाणारे प्रश्न

प्रश्न: मी AM6x उपकरणांच्या गटासह कोणत्याही प्रकारचा कॅमेरा वापरू शकतो का?

The AM6x family supports different camera types, including those with or without built-in ISP. Refer to the specifications for more details on supported camera types.

: What are the main differences between AM62A and AM62P in image processing?

The key variations include supported camera types, camera output data, presence of ISP HWA, Deep Learning HWA, and 3-D Graphics HWA. Refer to the specifications section for a detailed comparison.

कागदपत्रे / संसाधने

टेक्सास इन्स्ट्रुमेंट्स AM6x मल्टिपल कॅमेरा विकसित करत आहे [pdf] वापरकर्ता मार्गदर्शक
AM62A, AM62P, AM6x मल्टिपल कॅमेरा डेव्हलप करणे, AM6x, मल्टिपल कॅमेरा डेव्हलप करणे, मल्टिपल कॅमेरा, कॅमेरा

संदर्भ

वापरकर्ता मॅन्युअल

Texas Instruments AM6x Developing Multiple Cameras

तपशील