Mga Instrumento sa Texas AM6x Pagpalambo sa Daghang Giya sa Gumagamit sa Camera

Mga sulod itago

1 Mga Instrumento sa Texas AM6x Nagpalambo sa Daghang Mga Kamera

2 Mga detalye

3 Pasiuna

4 Pag-enable sa Daghang Camera sa Software

5 Reference Design

6 Multicamera Deep Learning Inference

7 Pagtuki sa Pagganap

8 IMPORTANTE NGA PAHIBALO UG DISCLAIMER

9 Kanunay nga Gipangutana nga mga Pangutana

10 Mga Dokumento / Mga Kapanguhaan

10.1 Mga pakisayran

Mga Instrumento sa Texas AM6x Nagpalambo sa Daghang Mga Kamera

Mga detalye

Ngalan sa Produkto: AM6x pamilya sa mga aparato
Gisuportahan nga Type sa Camera: AM62A (Naa o wala ang built-in nga ISP), AM62P (Uban ang Built-in ISP)

Data sa Output sa Camera: AM62A (Hilaw/YUV/RGB), AM62P (YUV/RGB)
ISP HWA: AM62A (Oo), AM62P (Dili)

Lawom nga Pagkat-on HWA: AM62A (Oo), AM62P (Dili)
3-D Graphics HWA: AM62A (Dili), AM62P (Oo)

Pasiuna sa Multiple-Camera Applications sa AM6x:

Ang mga naka-embed nga camera adunay hinungdanon nga papel sa modernong mga sistema sa panan-aw.

Ang paggamit sa daghang mga camera sa usa ka sistema makapauswag sa mga kapabilidad ug makapahimo sa mga buluhaton nga dili makab-ot sa usa ka camera.

Mga Aplikasyon nga Gigamit ang Daghang Mga Camera:

Pagbantay sa Seguridad: Nagpauswag sa coverage sa surveillance, pagsubay sa butang, ug katukma sa pag-ila.
Palibutan View: Makapahimo sa stereo vision alang sa mga buluhaton sama sa obstacle detection ug object manipulation.

Cabin Recorder ug Camera Mirror System: Naghatag ug taas nga coverage ug nagwagtang sa mga blind spot.
Medical Imaging: Nagtanyag og dugang nga katukma sa surgical navigation ug endoscopy.

Mga Drone ug Aerial Imaging: Pagkuha og taas nga resolusyon nga mga hulagway gikan sa lain-laing anggulo para sa lain-laing mga aplikasyon.

Pagkonektar sa Daghang CSI-2 Cameras sa SoC:
Aron makonektar ang daghang CSI-2 nga mga kamera sa SoC, sunda ang mga panudlo nga gihatag sa manwal sa paggamit. Siguruha nga husto ang pag-align ug koneksyon sa matag camera sa gitudlo nga mga pantalan sa SoC.

Nota sa Aplikasyon
Pagpalambo sa Multiple-Camera Applications sa AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAK
Gihubit niini nga taho ang pag-uswag sa aplikasyon gamit ang daghang CSI-2 nga mga camera sa AM6x nga pamilya sa mga aparato. Ang usa ka reperensiya nga disenyo sa pagtuki sa butang nga adunay lawom nga pagkat-on sa 4 nga mga kamera sa AM62A SoC gipresentar sa pagtuki sa pasundayag. Ang kinatibuk-ang mga prinsipyo sa disenyo magamit sa ubang mga SoC nga adunay CSI-2 interface, sama sa AM62x ug AM62P.

Pasiuna

Ang mga naka-embed nga camera adunay hinungdanon nga papel sa modernong mga sistema sa panan-aw. Ang paggamit sa daghang mga camera sa usa ka sistema nagpalapad sa mga kapabilidad niini nga mga sistema ug nagpaarang sa mga kapabilidad nga dili mahimo sa usa ka camera. Sa ubos mao ang pipila ka mga exampgamay nga aplikasyon gamit ang daghang naka-embed nga mga camera:

Security Surveillance: Daghang mga camera nga gibutang sa estratehikong paagi naghatag komprehensibo nga surveillance coverage. Gitugotan nila ang panoramic views, pagpakunhod sa blind spots, ug pagpauswag sa katukma sa pagsubay ug pag-ila sa butang, pagpaayo sa kinatibuk-ang mga lakang sa seguridad.
Palibutan View: Daghang mga kamera ang gigamit sa paghimo og stereo vision setup, nga makapahimo sa tulo-ka-dimensyon nga impormasyon ug sa pagbanabana sa giladmon. Kini hinungdanon alang sa mga buluhaton sama sa pagtuki sa mga babag sa awtonomiya nga mga awto, tukma nga pagmaniobra sa butang sa mga robotics, ug gipauswag nga realismo sa mga kasinatian sa gipadako nga realidad.

Cabin Recorder ug Camera Mirror System: Ang usa ka car cabin recorder nga adunay daghang mga camera makahatag og dugang nga coverage gamit ang usa ka processor. Sa susama, ang usa ka sistema sa salamin sa camera nga adunay duha o daghan pa nga mga camera makapalapad sa natad sa drayber sa view ug wagtangon ang mga blind spot sa tanang kilid sa sakyanan.
Medical Imaging: Daghang mga camera ang magamit sa medikal nga imaging alang sa mga buluhaton sama sa surgical navigation, nga naghatag sa mga siruhano nga adunay daghang mga panglantaw alang sa gipauswag nga katukma. Sa endoscopy, daghang mga camera ang makahimo sa usa ka bug-os nga pagsusi sa mga internal nga organo.

Mga Drone ug Aerial Imaging: Ang mga drone kanunay adunay gamit nga daghang mga camera aron makuha ang taas nga resolusyon nga mga imahe o video gikan sa lainlaing mga anggulo. Kini mapuslanon sa mga aplikasyon sama sa aerial photography, pag-monitor sa agrikultura, ug pagsurbi sa yuta.
Uban sa pag-uswag sa mga microprocessors, daghang mga camera mahimong i-integrate sa usa ka System-on-Chip.
(SoC) aron mahatagan ang mga compact ug episyente nga mga solusyon. Ang AM62Ax SoC, nga adunay high-performance nga pagproseso sa video/panan-aw ug lawom nga pagpadali sa pagkat-on, usa ka sulundon nga aparato alang sa nahisgutan nga mga kaso sa paggamit. Ang laing AM6x device, ang AM62P, gitukod alang sa high-performance nga naka-embed nga 3D display applications. Gisangkapan sa 3D graphics acceleration, ang AM62P dali nga makatahi sa mga imahe gikan sa daghang mga camera ug makahimo usa ka taas nga resolusyon nga panoramic. view. Ang mga bag-ong bahin sa AM62A/AM62P SoC gipresentar sa lain-laing mga publikasyon, sama sa [4], [5], [6], ug uban pa. Kini nga nota sa aplikasyon dili na magsubli sa maong mga deskripsyon sa feature apan hinuon nagtutok sa pag-integrate sa daghang CSI-2 nga mga kamera ngadto sa embedded vision applications sa AM62A/AM62P.

Ang talaan 1-1 nagpakita sa mga nag-unang kalainan tali sa AM62A ug AM62P kutob sa pagproseso sa imahe.

Talaan 1-1. Mga Kalainan Tali sa AM62A ug AM62P sa Pagproseso sa Imahe

SoC	AM62A	AM62P
Gisuportahan nga Type sa Camera	Uban o wala ang built-in nga ISP	Uban sa Built-in nga ISP
Data sa Output sa Camera	Hilaw/YUV/RGB	YUV/RGB
ISP HWA	Oo	Dili
Lawom nga Pagkat-on HWA	Oo	Dili
3-D nga Graphics HWA	Dili	Oo

Pagkonektar sa Daghang CSI-2 Cameras sa SoC
Ang Camera Subsystem sa AM6x SoC naglangkob sa mosunod nga mga sangkap, sama sa gipakita sa Figure 2-1:

MIPI D-PHY Receiver: nakadawat og mga video stream gikan sa mga external camera, nga nagsuporta hangtod sa 1.5 Gbps matag data lane alang sa 4 ka lane.

CSI-2 Receiver (RX): makadawat ug video stream gikan sa D-PHY receiver ug direkta nga ipadala ang mga sapa ngadto sa ISP o ihulog ang data sa DDR memory. Kini nga module nagsuporta hangtod sa 16 ka virtual channel.
SHIM: usa ka DMA wrapper nga makapahimo sa pagpadala sa mga nakuha nga sapa ngadto sa memorya sa DMA. Daghang konteksto sa DMA ang mahimo niining wrapper, nga ang matag konteksto katumbas sa usa ka virtual nga channel sa CSI-2 Receiver.

Daghang mga camera ang mahimong suportahan sa AM6x pinaagi sa paggamit sa mga virtual nga channel sa CSI-2 RX, bisan kung adunay usa ra ka interface sa CSI-2 RX sa SoC. Ang usa ka eksternal nga CSI-2 aggregating component gikinahanglan aron makombinar ang daghang mga stream sa camera ug ipadala kini sa usa ka SoC. Duha ka matang sa CSI-2 aggregating nga mga solusyon ang mahimong gamiton, nga gihulagway sa mosunod nga mga seksyon.

CSI-2 Aggregator Gamit ang SerDes
Usa ka paagi sa paghiusa sa daghang mga sapa sa camera mao ang paggamit sa usa ka serializing ug deserializing (SerDes) nga solusyon. Ang data sa CSI-2 gikan sa matag camera gi-convert sa usa ka serializer ug gibalhin pinaagi sa usa ka cable. Ang deserializer makadawat sa tanang serialized data nga gibalhin gikan sa mga cable (usa ka cable kada camera), nag-convert sa mga sapa balik sa CSI-2 data, ug dayon nagpadala sa usa ka interleaved nga CSI-2 stream ngadto sa usa ka CSI-2 RX interface sa SoC. Ang matag stream sa camera giila sa usa ka talagsaon nga virtual channel. Kini nga aggregating nga solusyon nagtanyag sa dugang nga benepisyo sa pagtugot sa layo nga distansya nga koneksyon hangtod sa 15m gikan sa mga camera hangtod sa SoC.

Ang FPD-Link o V3-Link serializers ug deserializers (SerDes), nga gisuportahan sa AM6x Linux SDK, mao ang pinakasikat nga mga teknolohiya alang niining matang sa CSI-2 aggregating solution. Parehong ang FPD-Link ug V3-Link deserializer adunay mga back channel nga magamit sa pagpadala sa mga signal sa pag-sync sa frame aron ma-synchronize ang tanan nga mga camera, ingon sa gipatin-aw sa [7].
Ang Figure 2-2 nagpakita sa usa ka example sa paggamit sa SerDes sa pagkonektar sa daghang mga camera sa usa ka AM6x SoC.

Usa ka exampAng kini nga aggregating solution makita sa Arducam V3Link Camera Solution Kit. Kini nga kit adunay deserializer hub nga nag-aggregate sa 4 ka CSI-2 camera streams, ingon man 4 ka pares sa V3link serializers ug IMX219 cameras, lakip ang FAKRA coaxial cables ug 22-pin FPC cables. Ang reperensiya nga disenyo nga gihisgutan sa ulahi gitukod niini nga kit.

CSI-2 Aggregator nga walay Paggamit sa SerDes
Kini nga matang sa aggregator mahimong direktang mag-interface sa daghang MIPI CSI-2 nga mga kamera ug maghiusa sa datos gikan sa tanang mga kamera ngadto sa usa ka CSI-2 nga output stream.

Ang Figure 2-3 nagpakita sa usa ka example sa ingon nga sistema. Kini nga matang sa aggregating solution wala maggamit ug serializer/deserializer pero limitado sa pinakataas nga gilay-on sa CSI-2 data transfer, nga hangtod sa 30cm. Ang AM6x Linux SDK wala mosuporta niining matang sa CSI-2 aggregator

Pag-enable sa Daghang Camera sa Software

Arkitektura sa Software sa Subsystem sa Camera
Ang Figure 3-1 nagpakita sa taas nga level block diagram sa camera capture system software sa AM62A/AM62P Linux SDK, nga katumbas sa HW system sa Figure 2-2.

Kini nga software nga arkitektura makapahimo sa SoC nga makadawat og daghang mga sapa sa kamera gamit ang SerDes, sama sa gipakita sa Figure 2-2. Ang FPD-Link/V3-Link SerDes naghatag ug talagsaong I2C nga adres ug virtual nga channel sa matag kamera. Ang usa ka talagsaon nga overlay sa punoan sa aparato kinahanglan himuon nga adunay talagsaon nga I2C nga adres alang sa matag camera. Giila sa drayber sa CSI-2 RX ang matag camera gamit ang talagsaon nga numero sa virtual nga channel ug nagmugna og konteksto sa DMA matag stream sa camera. Ang usa ka video node gihimo alang sa matag konteksto sa DMA. Ang datos gikan sa matag kamera dayon madawat ug gitipigan gamit ang DMA ngadto sa memorya sumala niana. Gigamit sa mga aplikasyon sa wanang sa gumagamit ang mga video node nga katumbas sa matag camera aron ma-access ang data sa camera. ExampAng mga bahin sa paggamit niini nga software nga arkitektura gihatag sa Kapitulo 4 - Reference Design.
Ang bisan unsang piho nga drayber sa sensor nga nagsunod sa V4L2 nga balangkas mahimong mag-plug ug magdula niini nga arkitektura. Tan-awa ang [8] bahin sa kung giunsa ang pag-integrate sa usa ka bag-ong sensor driver sa Linux SDK.

Image Pipeline Software Architecture

Ang AM6x Linux SDK naghatag sa GStreamer (GST) nga gambalay, nga mahimong gamiton sa ser space aron i-integrate ang mga component sa pagproseso sa imahe para sa lain-laing mga aplikasyon. Ang Hardware Accelerators (HWA) sa SoC, sama sa Vision Pre-processing Accelerator (VPAC) o ISP, video encoder/decoder, ug deep learning compute engine, ma-access pinaagi sa GST plugins. Ang VPAC (ISP) mismo adunay daghang mga bloke, lakip ang Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), ug Multiscalar (MSC), matag usa katugbang sa GST plugin.

Gipakita sa Figure 3-2 ang block diagram sa usa ka tipikal nga pipeline sa imahe gikan sa camera hangtod sa pag-encode o lawom
pagkat-on sa mga aplikasyon sa AM62A. Para sa dugang nga mga detalye bahin sa end-to-end data flow, tan-awa ang EdgeAI SDK nga dokumentasyon.

Para sa AM62P, mas simple ang pipeline sa imahe tungod kay walay ISP sa AM62P.

Uban sa usa ka video node nga gihimo alang sa matag usa sa mga camera, ang GStreamer-based image pipeline nagtugot sa pagproseso sa daghang mga input sa camera (nga konektado pinaagi sa parehas nga CSI-2 RX interface) nga dungan. Ang usa ka reperensiya nga disenyo gamit ang GStreamer alang sa mga aplikasyon sa multi-camera gihatag sa sunod nga kapitulo.

Reference Design

Kini nga kapitulo nagpresentar sa usa ka reperensiya nga disenyo sa pagpadagan sa multiple-camera nga mga aplikasyon sa AM62A EVM, gamit ang Arducam V3Link Camera Solution Kit aron makonektar ang 4 ka CSI-2 nga mga kamera ngadto sa AM62A ug ang pagpadagan sa object detection alang sa tanang 4 ka mga kamera.

Gisuportahan nga mga Camera
Ang Arducam V3Link kit nagtrabaho uban sa FPD-Link/V3-Link-based nga mga kamera ug Raspberry Pi-compatible nga CSI-2 nga mga kamera. Ang mosunod nga mga camera gisulayan:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219 nga mga camera sa Arducam V3Link Camera Solution Kit

Pag-set up sa Upat ka IMX219 Cameras
Sunda ang mga instruksyon nga gihatag sa AM62A Starter Kit EVM Quick Start Guide aron ma-set up ang SK-AM62A-LP EVM (AM62A SK) ug ArduCam V3Link Camera Solution Quick Start Guide aron makonektar ang mga camera sa AM62A SK pinaagi sa V3Link kit. Siguroha nga ang mga pin sa mga flex cable, camera, V3Link board, ug AM62A SK naa sa hustong paagi.

Ang Figure 4-1 nagpakita sa setup nga gigamit alang sa reference design niini nga report. Ang mga nag-unang sangkap sa pag-setup naglakip sa:

1X SK-AM62A-LP EVM board
1X Arducam V3Link d-ch adapter board
FPC cable nga nagkonektar sa Arducam V3Link sa SK-AM62A

4X V3Link camera adapters (serializers)
4X RF coaxial cables aron makonektar ang mga serializer sa V3Link sa V3Link d-ch kit
4X IMX219 nga mga Camera

4X CSI-2 22-pin nga mga kable aron makonektar ang mga camera sa mga serializer
Mga kable: HDMI cable, USB-C sa gahum sa SK-AM62A-LP ug 12V power sourced para sa V3Link d-ch kit)
Ang ubang mga component nga wala makita sa Figure 4-1: micro-SD card, micro-USB cable para ma-access ang SK-AM62A-LP, ug Ethernet para sa streaming

Pag-configure sa mga Camera ug CSI-2 RX Interface
I-set up ang software sumala sa mga instruksyon nga gihatag sa Arducam V3Link Quick Start Guide. Human sa pagpadagan sa script sa setup sa camera, setup-imx219.sh, ang format sa camera, ang CSI-2 RX interface format, ug ang mga rota gikan sa matag camera ngadto sa katugbang nga video node ma-configure sa husto. Upat ka video node ang gihimo para sa upat ka IMX219 camera. Ang command "v4l2-ctl –list-devices" nagpakita sa tanang V4L2 nga mga video device, sama sa gipakita sa ubos:

Adunay 6 ka video node ug 1 media node ubos sa tiscsi2rx. Ang matag video node katumbas sa konteksto sa DMA nga gigahin sa drayber sa CSI2 RX. Sa 6 ka video node, 4 ang gigamit para sa 4 ka IMX219 nga mga kamera, sama sa gipakita sa media pipe topology sa ubos:

Sama sa gipakita sa ibabaw, ang media entity 30102000.ticsi2rx adunay 6 ka source pad, apan ang unang 4 lang ang gigamit, matag usa para sa usa ka IMX219. Ang media pipe topology mahimo usab nga gihulagway nga grapiko. Pagdalagan ang mosunod nga sugo aron makamugna og tulbok file:

Dayon padagana ang sugo sa ubos sa Linux host PC aron makamugna og PNG file:

Ang Figure 4-2 usa ka hulagway nga gihimo gamit ang mga sugo nga gihatag sa ibabaw. Ang mga sangkap sa software nga arkitektura sa Figure 3-1 makita niini nga graph.

Pag-stream gikan sa Upat ka Camera
Uban sa hardware ug software nga na-set up sa hustong paagi, ang multiple-camera applications mahimong modagan gikan sa user space. Para sa AM62A, ang ISP kinahanglang i-tune aron makagama og maayong kalidad sa imahe. Tan-awa ang AM6xA ISP Tuning Guide para kung unsaon paghimo sa ISP tuning. Ang mosunod nga mga seksyon nagpakita exampgamay nga pag-streaming sa data sa camera ngadto sa usa ka display, pag-streaming sa data sa camera ngadto sa usa ka network, ug pagtago sa data sa camera ngadto sa files.

Pag-stream sa Data sa Camera aron Ipakita
Usa ka sukaranan nga aplikasyon niining multi-camera system mao ang pag-stream sa mga video gikan sa tanang mga camera ngadto sa usa ka display nga konektado sa samang SoC. Ang mosunod mao ang GStreamer pipeline exampAng pag-streaming sa upat ka IMX219 ngadto sa usa ka display (ang mga numero sa video node ug v4l-subdev nga mga numero sa pipeline lagmit mausab gikan sa reboot ngadto sa reboot).

Pag-stream sa Data sa Camera pinaagi sa Ethernet
Imbis nga mag-stream sa usa ka display nga konektado sa parehas nga SoC, ang data sa camera mahimo usab nga ma-stream pinaagi sa Ethernet. Ang pagdawat nga bahin mahimong lain nga AM62A/AM62P processor o usa ka host PC. Ang mosunod kay example sa pag-streaming sa data sa camera pinaagi sa Ethernet (gamit ang duha ka camera para sa kayano) (timan-i ang encoder plugin nga gigamit sa pipeline):

Ang mosunod kay example sa pagdawat sa data sa camera ug pag-stream sa usa ka display sa laing AM62A/AM62P processor:

Pagtipig sa Data sa Camera sa Files
Imbis nga mag-stream sa usa ka display o pinaagi sa usa ka network, ang data sa camera mahimong tipigan sa lokal files. Ang pipeline sa ubos nagtipig sa datos sa matag camera sa a file (gamit ang duha ka camera isip example para sa kayano).

Multicamera Deep Learning Inference

Ang AM62A nasangkapan sa usa ka lawom nga pagkat-on accelerator (C7x-MMA) nga adunay hangtod sa duha ka TOPS, nga makahimo sa pagpadagan sa lainlaing mga lahi sa lawom nga mga modelo sa pagkat-on alang sa klasipikasyon, pagtuki sa butang, pagbahinbahin sa semantiko, ug uban pa. Gipakita niini nga seksyon kung giunsa ang AM62A dungan nga makadagan sa upat ka lawom nga mga modelo sa pagkat-on sa upat ka lainlaing mga feed sa camera.

Pagpili sa Modelo
Ang EdgeAI-ModelZoo sa TI naghatag og gatusan ka mga state-of-the-art nga mga modelo, nga gi-convert/na-export gikan sa ilang orihinal nga training frameworks ngadto sa usa ka embedded-friendlyy nga format aron sila ma-offload sa C7x-MMA deep learning accelerator. Ang cloud-based Edge AI Studio Model Analyzer naghatag ug sayon-gamiton nga “Model Selection” tool. Kini dinamikong gi-update aron maapil ang tanan nga mga modelo nga gisuportahan sa TI EdgeAI-ModelZoo. Ang himan wala magkinahanglan og nangagi nga kasinatian ug naghatag og sayon gamiton nga interface aron makasulod sa mga bahin nga gikinahanglan sa gusto nga modelo.

Ang TFL-OD-2000-ssd-mobV1-coco-mlperf gipili para niining multi-camera deep learning experiment. Kini nga multi-object detection nga modelo gihimo sa TensorFlow framework nga adunay 300 × 300 nga input nga resolusyon. Ang talaan 4-1 nagpakita sa importante nga mga bahin niini nga modelo kung gibansay sa cCOCO dataset nga adunay mga 80 ka lain-laing mga klase.

Talaan 4-1. Highlight Features sa Modelong TFL-OD-2000-ssd-mobV1-coco-mlperf.

Modelo	Buluhaton	Resolusyon	FPS	mapa 50% Katukma Sa COCO	Latency/Frame (ms)	DDR BW Paggamit (MB/ Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Multi Object Detection	300 × 300	~152	15.9	6.5	18.839

Pag-setup sa Pipeline
Ang Figure 4-3 nagpakita sa 4-camera nga lawom nga pagkat-on sa GStreamer pipeline. Naghatag ang TI og suite sa GStreamer plugins nga nagtugot sa pag-offload sa pipila sa pagproseso sa media ug ang lawom nga pagkat-on nga inference sa mga hardware accelerators. Ilang examples niini plugins naglakip sa tiovxisp, tiovxmultiscaler, tiovxmosaic, ug tidlinferer. Ang pipeline sa Figure 4-3 naglakip sa tanan nga gikinahanglan plugins para sa multipath nga GStreamer pipeline para sa 4-camera inputs, ang matag usa adunay preprocess sa media, deep learning inference, ug postprocess. Ang duplicate plugins kay ang matag usa sa mga agianan sa camera gi-stack sa graph para sa mas sayon nga pagpakita.
Ang magamit nga mga kapanguhaan sa hardware parehas nga giapod-apod sa upat nga mga agianan sa camera. Pananglitan, ang AM62A adunay duha ka multiscaler sa imahe: MSC0 ug MSC1. Ang pipeline klaro nga nagpahinungod sa MSC0 sa pagproseso sa camera 1 ug camera 2 nga mga agianan, samtang ang MSC1 gipahinungod sa camera 3 ug camera 4.

Ang output sa upat ka mga pipeline sa camera gipakunhod ug gihiusa gamit ang tiovxmosaic plugin. Ang output gipakita sa usa ka screen. Gipakita sa Figure 4-4 ang output sa upat ka mga camera nga adunay lawom nga modelo sa pagkat-on nga nagpadagan sa pagkakita sa butang. Ang matag pipeline (camera) nagdagan sa 30 FPS ug total nga 120 FPS.

Sunod mao ang tibuuk nga script sa pipeline alang sa kaso sa paggamit sa lawom nga pagkat-on sa multicamera nga gipakita sa Figure 4-3.

Pagtuki sa Pagganap

Ang pag-setup nga adunay upat ka mga camera gamit ang V3Link board ug ang AM62A SK gisulayan sa lainlaing mga senaryo sa aplikasyon, lakip ang direkta nga pagpakita sa usa ka screen, streaming sa Ethernet (upat ka mga channel sa UDP), pagrekord sa 4 nga lahi. files, ug uban sa lawom nga pagkat-on inference. Sa matag eksperimento, among gimonitor ang frame rate ug ang paggamit sa CPU cores aron masusi ang tibuok nga kapabilidad sa sistema.

Sama sa gipakita kaniadto sa Figure 4-4, ang deep learning pipeline naggamit sa tiperfoverlay GStreamer plugin aron ipakita ang CPU core loads isip bar graph sa ubos sa screen. Sa kasagaran, ang graph gi-update matag duha ka segundo aron ipakita ang mga load isip porsyento sa paggamittage. Dugang pa sa plugin nga tiperfoverlay GStreamer, ang perf_stats nga himan maoy ikaduhang opsyon sa pagpakita sa kinauyokan nga performance direkta sa terminal nga adunay opsyon para sa pagtipig sa usa ka file. Kini nga himan mas tukma kon itandi sa tTiperfoverlayas ang naulahi midugang og dugang nga load sa ARMm cores ug ang DDR sa pagdrowing sa graph ug pag-overlay niini sa screen. Ang himan sa perf_stats kay gigamit sa pagkolekta sa mga resulta sa paggamit sa hardware sa tanang mga kaso sa pagsulay nga gipakita niini nga dokumento. Ang pipila sa mga importanteng processing core ug accelerators nga gitun-an niini nga mga pagsulay naglakip sa mga nag-unang processor (upat ka A53 Arm cores @ 1.25GHz), ang deep learning accelerator (C7x-MMA @ 850MHz), ang VPAC (ISP) nga adunay VISS ug multiscalers (MSC0 ug MSC1), ug DDR operations.

Ang talaan 5-1 nagpakita sa pasundayag ug paggamit sa kahinguhaan sa dihang naggamit sa AM62A nga adunay upat ka mga kamera alang sa tulo ka mga kaso sa paggamit, lakip ang pag-streaming sa upat ka mga kamera ngadto sa usa ka display, pag-streaming sa Ethernet, ug pagrekord sa upat ka managlahing paagi. files. Duha ka mga pagsulay ang gipatuman sa matag kaso sa paggamit: gamit ang camera lamang ug adunay lawom nga pagkat-on. Dugang pa, ang una nga laray sa Talaan 5-1 nagpakita sa paggamit sa hardware kung ang operating system ra ang nagdagan sa AM62A nga wala’y bisan unsang aplikasyon sa gumagamit. Gigamit kini isip baseline aron itandi kung magtimbang-timbang sa paggamit sa hardware sa ubang mga kaso sa pagsulay. Sama sa gipakita sa lamesa, ang upat ka mga camera nga adunay lawom nga pagkat-on ug pagpakita sa screen naglihok sa 30 FPS matag usa, nga adunay total nga 120 FPS alang sa upat nga mga camera. Kini nga taas nga frame rate nakab-ot nga adunay 86% lamang sa lawom nga pagkat-on accelerator (C7x-MMA) nga tibuuk nga kapasidad. Dugang pa, importante nga timan-an nga ang lawom nga pagkat-on accelerator gi-orasan sa 850MHz imbes sa 1000MHz sa kini nga mga eksperimento, nga hapit 85% ra sa labing kadaghan nga nahimo niini.

Talaan 5-1. Performance (FPS) ug Resource Utilization sa AM62A kung gigamit sa 4 IMX219 Cameras para sa Screen Display, Ethernet Stream, Record to Files, ug Pagpahigayon sa Deep Learning Inferencing

Aplikasyon n	Pipeline (operasyon )	Output	FPS avg pipeline s	FPS kinatibuk-an	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Kinatibuk-ang [MB/s]
Walay App	Baseline Walay operasyon	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Camera lamang	Stream sa Screen	Screen	30	120	12	12	0	70	61	60	1015	757	1782
	Stream sa Ethernet	UDP: 4 mga pantalan 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Pagrekord sa files	4 files 1920 × 1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam uban sa lawom nga pagkat-on	Lawom nga pagkat-on: Pagtuki sa butang MobV1- coco	Screen	30	120	38	25	86	71	85	82	2926	1676	4602
	Lawom nga pagkat-on: Pagtuki sa butang MobV1- coco ug Stream sa Ethernet	UDP: 4 mga pantalan 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Lawom nga pagkat-on: Pagtuki sa butang MobV1- coco ug pagrekord sa files	4 files 1920 × 1080	28	112	87	22	98	75	82	61	2024	2458	6482

Summary
Gihubit sa kini nga taho sa aplikasyon kung giunsa ang pagpatuman sa mga aplikasyon sa daghang camera sa AM6x nga pamilya sa mga aparato. Usa ka reference nga disenyo base sa Arducam's V3Link Camera Solution Kit ug AM62A SK EVM gihatag sa report, uban sa daghang mga camera applications gamit ang upat ka IMX219 camera, sama sa streaming ug object detection. Giawhag ang mga tiggamit sa pag-angkon sa V3Link Camera Solution Kit gikan sa Arducam ug kopyahon kini nga mga examples. Naghatag usab ang taho og usa ka detalyado nga pagtuki sa pasundayag sa AM62A samtang naggamit sa upat ka mga camera sa ilawom sa lainlaing mga pag-configure, lakip ang pagpakita sa usa ka screen, streaming sa Ethernet, ug pagrekord sa files. Gipakita usab niini ang katakus sa AM62A'sA sa paghimo sa lawom nga inference sa pagkat-on sa upat nga bulag nga mga sapa sa camera nga managsama. Kung adunay mga pangutana bahin sa pagpadagan niini nga mga examples, pagsumite ug pangutana sa TI E2E forum.

Mga pakisayran

AM62A Starter Kit EVM Quick Start Guide

ArduCam V3Link Camera Solution Quick Start Guide
Dokumentasyon sa Edge AI SDK para sa AM62A
Edge AI Smart Cameras Gamit ang Energy-Efficient AM62A Processor

Camera Mirror Systems sa AM62A
Driver ug Occupancy Monitoring Systems sa AM62A
Quad Channel Camera Application alang sa Surround View ug CMS Camera Systems

AM62Ax Linux Academy sa Pag-enable sa CIS-2 Sensor
Edge AI ModelZoo
Edge AI Studio

Perf_stats nga himan

Mga Bahin sa TI nga Gi-refer sa Kini nga Pahinumdom sa Aplikasyon:

https://www.ti.com/product/AM62A7

IMPORTANTE NGA PAHIBALO UG DISCLAIMER

TI NAGHATAG ANG TEKNIKAL UG KASALIG NGA DATA (KASULOD SA DATA SHEETS), DESIGN RESOURCES (ASULOD REFERENCE DESIGNS), APPLICATION O UBAN NGA DESIGN TAMBAG, WEB MGA TOOL, IMPORMASYON SA KALIGTASAN, UG UBAN PA NGA MGA RESOURCES "AS IS" UG UBAN SA TANANG SAYOP, UG GIPAHIMO ANG TANANG WARRANTY, GIPADAYAG UG GIPAHIBALO, LAKIP NGA WALAY LIMITASYON ANG BISAN UNSANG GIPASABOT NGA MGA WARRANTY SA KALIGTASAN, KAAYO PARA SA PARTIKULAR NGA KATUYOAN NGA TANAN. IGHTS .

Kini nga mga kapanguhaan gituyo alang sa hanas nga mga developer nga nagdesinyo sa mga produkto sa TI. Ikaw ra ang responsable sa

pagpili sa angay nga mga produkto sa TI alang sa imong aplikasyon,

pagdesinyo, pag-validate, ug pagsulay sa imong aplikasyon, ug
pagsiguro nga ang imong aplikasyon nakab-ot ang angay nga mga sumbanan, ug bisan unsang uban pang kaluwasan, seguridad, regulasyon, o uban pang mga kinahanglanon.

Kini nga mga kapanguhaan mahimong usbon nga wala’y pahibalo. Gitugotan ka sa TI nga gamiton kini nga mga kapanguhaan alang lamang sa pagpalambo sa usa ka aplikasyon nga naggamit sa mga produkto sa TI nga gihulagway sa kapanguhaan. Ang uban nga pagkopya ug pagpasundayag niini nga mga kahinguhaan gidili. Walay lisensya nga gihatag sa bisan unsa nga TI nga katungod sa intelektwal nga kabtangan o sa bisan unsang ikatulo nga partido nga katungod sa intelektwal nga kabtangan. Gisalikway sa TI ang responsibilidad, ug bug-os nimong bayran ang TI ug ang mga representante niini batok sa, bisan unsang mga pag-angkon, kadaot, gasto, pagkawala, ug mga utang nga motungha gikan sa imong paggamit niini nga mga kapanguhaan.

Ang mga produkto sa TI gihatag ubos sa Mga Termino sa Pagbaligya sa TI o uban pang magamit nga mga termino nga magamit bisan sa ti.com o gihatag kauban sa ingon nga mga produkto sa TI. Ang probisyon sa TI niini nga mga kahinguhaan dili magpalapad o mag-usab sa angay nga mga warranty o mga disclaimer sa warranty sa TI alang sa mga produkto sa TI.

Gisupak ug gisalikway sa TI ang bisan unsang dugang o lahi nga termino nga mahimo nimong gisugyot.

IMPORTANTE NGA PAHIBALO

Address sa Pag-mail: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Kanunay nga Gipangutana nga mga Pangutana

P: Mahimo ba nako gamiton ang bisan unsang klase sa camera nga adunay AM6x nga pamilya sa mga aparato?

Gisuportahan sa pamilyang AM6x ang lainlaing klase sa camera, lakip ang adunay o wala nga built-in nga ISP. Tan-awa ang mga detalye alang sa dugang nga mga detalye sa gisuportahan nga mga tipo sa camera.

: Unsa ang mga nag-unang kalainan tali sa AM62A ug AM62P sa pagproseso sa imahe?

Ang yawe nga mga kalainan naglakip sa gisuportahan nga mga tipo sa camera, data sa output sa camera, presensya sa ISP HWA, Deep Learning HWA, ug 3-D Graphics HWA. Tan-awa ang seksyon sa mga detalye alang sa usa ka detalyado nga pagtandi.

Mga Dokumento / Mga Kapanguhaan

Mga Instrumento sa Texas AM6x Nagpalambo sa Daghang Camera [pdf] Giya sa Gumagamit
AM62A, AM62P, AM6x Pagpalambo sa Daghang Camera, AM6x, Pagpalambo sa Daghang Camera, Daghang Camera, Camera

Mga pakisayran

Manwal sa Gumagamit