Texas Instruments AM6x Pagbuo ng Maramihang Gabay sa Gumagamit ng Camera

Mga nilalaman magtago

1 AM6x Pagbuo ng Maramihang Camera

2 Mga pagtutukoy:

3 Mga Tagubilin sa Paggamit ng Produkto:

3.1 1. Panimula sa Multiple-Camera Applications sa AM6x:

3.2 2. Mga Application na Gumagamit ng Maramihang Mga Camera:

3.3 3. Pagkonekta ng Maramihang CSI-2 Camera sa SoC:

4 Mga Madalas Itanong (FAQ):

4.1 T: Maaari ba akong gumamit ng anumang uri ng camera sa AM6x na pamilya ng mga device?

4.2 Q: Ano ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P sa pagpoproseso ng imahe?

4.3 Mga Dokumento / Mga Mapagkukunan

4.3.1 Mga sanggunian

AM6x Pagbuo ng Maramihang Camera

“

Mga pagtutukoy:

Pangalan ng Produkto: AM6x na pamilya ng mga device
Sinusuportahang Uri ng Camera: AM62A (Mayroon o walang built-in na ISP),
AM62P (May Built-in na ISP)

Data ng Output ng Camera: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
ISP HWA: AM62A (Oo), AM62P (Hindi)

Deep Learning HWA: AM62A (Oo), AM62P (Hindi)
3-D Graphics HWA: AM62A (Hindi), AM62P (Oo)

Mga Tagubilin sa Paggamit ng Produkto:

1. Panimula sa Multiple-Camera Applications sa AM6x:

Ang mga naka-embed na camera ay may mahalagang papel sa mga modernong sistema ng paningin.
Ang paggamit ng maraming camera sa isang system ay nagpapahusay ng mga kakayahan at
nagbibigay-daan sa mga gawain na hindi matamo sa isang camera.

2. Mga Application na Gumagamit ng Maramihang Mga Camera:

Pagsubaybay sa Seguridad: Pinahuhusay ang pagsubaybay
saklaw, pagsubaybay sa bagay, at katumpakan ng pagkilala.

Palibutan View: Pinapagana ang stereo vision para sa mga gawain
tulad ng obstacle detection at object manipulation.
Cabin Recorder at Camera Mirror System:
Nagbibigay ng pinahabang coverage at nag-aalis ng mga blind spot.

Medikal na Imaging: Nag-aalok ng pinahusay na katumpakan sa
surgical navigation at endoscopy.
Mga Drone at Aerial Imaging: Kunin
mga larawang may mataas na resolution mula sa iba't ibang anggulo para sa iba't ibang
mga aplikasyon.

3. Pagkonekta ng Maramihang CSI-2 Camera sa SoC:

Para ikonekta ang maraming CSI-2 camera sa SoC, sundin ang
mga patnubay na ibinigay sa manwal ng gumagamit. Tiyakin ang wastong pagkakahanay at
koneksyon ng bawat camera sa mga itinalagang port sa SoC.

Mga Madalas Itanong (FAQ):

T: Maaari ba akong gumamit ng anumang uri ng camera na may pamilya ng AM6x
mga device?

A: Sinusuportahan ng pamilyang AM6x ang iba't ibang uri ng camera, kabilang ang
yaong mayroon o walang built-in na ISP. Sumangguni sa mga pagtutukoy para sa
higit pang mga detalye sa mga sinusuportahang uri ng camera.

Q: Ano ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P in
pagpoproseso ng imahe?

A: Kasama sa mga pangunahing variation ang mga sinusuportahang uri ng camera, camera
output data, presensya ng ISP HWA, Deep Learning HWA, at 3-D
Graphics HWA. Sumangguni sa seksyon ng mga detalye para sa isang detalyadong
paghahambing.

“`

View Fullscreen

www.ti.com

Talaan ng mga Nilalaman

Tala ng Aplikasyon

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Jianzhong Xu, Qutaiba Saleh
ABSTRAK
Inilalarawan ng ulat na ito ang pagbuo ng application gamit ang maraming CSI-2 camera sa AM6x na pamilya ng mga device. Ang isang reference na disenyo ng object detection na may malalim na pag-aaral sa 4 na camera sa AM62A SoC ay ipinakita sa pagtatasa ng pagganap. Ang mga pangkalahatang prinsipyo ng disenyo ay nalalapat sa iba pang mga SoC na may CSI-2 interface, gaya ng AM62x at AM62P.
Talaan ng mga Nilalaman
1 Panimula……………………………………………………………………………………………………………………………………………………..2 2 Pagkonekta ng Maramihang CSI-2 Camera sa SoC……………………………………………………………………………………………… 3
2.1 CSI-2 Aggregator Paggamit ng SerDes………………………………………………………………………………………………………………………… 3 2.2 CSI-2 Aggregator nang hindi Gumagamit ng SerDes……………………………………………………………………………………………………………….4 3 Pag-enable ng Maramihang Camera sa Software……………………………………………………………………………………………………………………..5 3.1 Camera Subsystem Software Architecture……………………………………………………………………………………………… 5 3.2 Image Pipeline Software Architecture………………………………………………………………………………………………………… 5. Disenyo…………………………………………………………………………………………………………………………………………. 4 7 Mga Sinusuportahang Camera………………………………………………………………………………………………………………………….. 4.1 7 Pag-set up ng Apat na IMX4.2 Camera…………………………………………………………………………………………………………..219 7 Pag-configure ng Mga Camera at CSI-4.3 RX Interface…………………………………………………………………………………………………………. 2 8 Pag-stream mula sa Apat na Camera……………………………………………………………………………………………………………………..4.4 10 Multicamera Deep Learning Inference……………………………………………………………………………………………….. 4.5 12 Performance Analysis………………………………………………………………………………………………………………………………………. 5 16 Buod……………………………………………………………………………………………………………………………………………………. 6 18 Mga Sanggunian…………………………………………………………………………………………………………………………………………. 7
Mga trademark
Ang lahat ng mga trademark ay pag-aari ng kani-kanilang mga may-ari.

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Panimula

www.ti.com

1 Panimula

Ang mga naka-embed na camera ay may mahalagang papel sa mga modernong sistema ng paningin. Ang paggamit ng maraming camera sa isang system ay nagpapalawak ng mga kakayahan ng mga system na ito at nagbibigay-daan sa mga kakayahan na hindi posible sa isang camera. Nasa ibaba ang ilang exampkaunti sa mga application na gumagamit ng maraming naka-embed na camera:

Pagsubaybay sa Seguridad: Ang maraming camera na inilagay sa madiskarteng paraan ay nagbibigay ng komprehensibong saklaw ng pagsubaybay. Pinapagana nila ang panoramic views, bawasan ang mga blind spot, at pahusayin ang katumpakan ng pagsubaybay at pagkilala sa bagay,
pagpapabuti ng pangkalahatang mga hakbang sa seguridad.

Palibutan View: Maramihang camera ang ginagamit para gumawa ng stereo vision setup, na nagpapagana ng tatlong-dimensional na impormasyon at ang pagtatantya ng lalim. Ito ay mahalaga para sa mga gawain tulad ng obstacle detection sa autonomous
mga sasakyan, tumpak na pagmamanipula ng bagay sa robotics, at pinahusay na realismo ng mga karanasan sa augmented reality.

Cabin Recorder at Camera Mirror System: Ang isang car cabin recorder na may maraming camera ay maaaring magbigay ng higit na coverage gamit ang isang processor. Katulad nito, ang isang camera mirror system na may dalawa o higit pang mga camera ay maaaring palawakin ang
larangan ng pagmamaneho ng view at alisin ang mga blind spot sa lahat ng panig ng kotse.

Medikal na Imaging: Maraming camera ang maaaring gamitin sa medikal na imaging para sa mga gawain tulad ng surgical navigation, na nagbibigay sa mga surgeon ng maraming pananaw para sa pinahusay na katumpakan. Sa endoscopy, maraming mga camera ang nagbibigay-daan sa isang masusing paraan
pagsusuri ng mga panloob na organo.

Mga Drone at Aerial Imaging: Ang mga drone ay kadalasang nilagyan ng maraming camera para kumuha ng mga high-resolution na larawan o video mula sa iba't ibang anggulo. Ito ay kapaki-pakinabang sa mga application tulad ng aerial photography, agrikultura
pagsubaybay, at pagsusuri ng lupa.

Sa pagsulong ng mga microprocessor, maraming camera ang maaaring isama sa isang System-on-Chip (SoC) upang magbigay ng mga compact at mahusay na solusyon. Ang AM62Ax SoC, na may high-performance na pagpoproseso ng video/vision at deep learning acceleration, ay isang mainam na device para sa mga nabanggit na kaso ng paggamit. Ang isa pang AM6x device, ang AM62P, ay binuo para sa mataas na pagganap na naka-embed na 3D display application. Nilagyan ng 3D graphics acceleration, ang AM62P ay madaling pagsasama-samahin ang mga larawan mula sa maraming camera at makabuo ng high-resolution na panoramic view. Ang mga makabagong feature ng AM62A/AM62P SoC ay ipinakita sa iba't ibang publikasyon, gaya ng [4], [5], [6], atbp. Ang application note na ito ay hindi uulitin ang mga paglalarawan sa feature ngunit sa halip ay nakatutok sa pagsasama ng maraming CSI-2 camera sa naka-embed na vision application sa AM62A/AM62P.

Ipinapakita ng talahanayan 1-1 ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P hanggang sa pag-aalala sa pagproseso ng imahe.

Talahanayan 1-1. Mga Pagkakaiba sa Pagitan ng AM62A at AM62P sa Pagproseso ng Imahe

SoC

AM62A

AM62P

Sinusuportahang Uri ng Camera

Mayroon o walang built-in na ISP

Gamit ang Built-in na ISP

Data ng Output ng Camera

Raw/YUV/RGB

YUV/RGB

ISP HWA

Hindi

Deep Learning HWA

Hindi

3-D Graphics HWA

Hindi

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Pagkonekta ng Maramihang CSI-2 Camera sa SoC

2 Pagkonekta ng Maramihang CSI-2 Camera sa SoC
Ang Subsystem ng Camera sa AM6x SoC ay naglalaman ng mga sumusunod na bahagi, tulad ng ipinapakita sa Figure 2-1:
· MIPI D-PHY Receiver: tumatanggap ng mga video stream mula sa mga panlabas na camera, na sumusuporta sa hanggang 1.5 Gbps bawat data lane para sa 4 na lane.
· CSI-2 Receiver (RX): tumatanggap ng mga video stream mula sa D-PHY na receiver at direktang ipinapadala ang mga stream sa ISP o itinatapon ang data sa DDR memory. Sinusuportahan ng module na ito ang hanggang 16 na virtual na channel.
· SHIM: isang DMA wrapper na nagbibigay-daan sa pagpapadala ng mga nakuhang stream sa memory sa DMA. Maraming konteksto ng DMA ang maaaring gawin ng wrapper na ito, na ang bawat konteksto ay tumutugma sa isang virtual na channel ng CSI-2 Receiver.

Data lane 0

ISP

MIPI

Data lane 1

CSI2 RX

D-PHY

Data lane 2

Tagatanggap

Data lane 3

Lane ng orasan

SHIM

Memorya ng DDR

AM62A/AM62P SoC Camera subsystem modules

Larawan 2-1. High-Level Block Diagram ng Camera Subsystem sa AM62A/AM62P SoC
Maaaring suportahan ang maraming camera sa AM6x sa pamamagitan ng paggamit ng mga virtual na channel ng CSI-2 RX, kahit na mayroon lamang isang interface ng CSI-2 RX sa SoC. Kailangan ng external na CSI-2 aggregating component para pagsamahin ang maraming stream ng camera at ipadala sa iisang SoC. Mayroong dalawang uri ng CSI-2 aggregating solution na maaaring gamitin, na inilarawan sa mga sumusunod na seksyon.
2.1 CSI-2 Aggregator Gamit ang SerDes
Ang isang paraan ng pagsasama-sama ng maraming stream ng camera ay ang paggamit ng isang serializing at deserializing (SerDes) na solusyon. Ang data ng CSI-2 mula sa bawat camera ay kino-convert ng isang serializer at inilipat sa pamamagitan ng isang cable. Ang deserializer ay tumatanggap ng lahat ng serialized na data na inilipat mula sa mga cable (isang cable sa bawat camera), i-convert ang mga stream pabalik sa CSI-2 data, at pagkatapos ay nagpapadala ng interleaved CSI-2 stream sa iisang CSI-2 RX interface sa SoC. Ang bawat stream ng camera ay nakikilala sa pamamagitan ng isang natatanging virtual na channel. Ang pinagsama-samang solusyon na ito ay nag-aalok ng karagdagang benepisyo ng pagpayag sa malayuang koneksyon na hanggang 15m mula sa mga camera patungo sa SoC.
Ang mga serializer at deserializer ng FPD-Link o V3-Link (SerDes), na sinusuportahan sa AM6x Linux SDK, ay ang mga pinakasikat na teknolohiya para sa ganitong uri ng CSI-2 aggregating solution. Parehong may mga back channel ang FPD-Link at V3-Link deserializer na maaaring magamit upang magpadala ng mga signal ng pag-sync ng frame upang i-synchronize ang lahat ng mga camera, gaya ng ipinaliwanag sa [7].
Ang Figure 2-2 ay nagpapakita ng isang example ng paggamit ng SerDes para ikonekta ang maraming camera sa iisang AM6x SoC.

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Pagkonekta ng Maramihang CSI-2 Camera sa SoC

Camera

Serializer

Deserializer Hub

www.ti.com

Camera Camera

Serializer Serializer

CSI-2 Tx

CSI-2 Rx

AM62A/ AM62P
SoC

Camera

Serializer

Larawan 2-2. Pagkonekta ng Maramihang Camera Gamit ang SerDes

Isang datingampAng bahagi ng pinagsama-samang solusyon na ito ay matatagpuan sa Arducam V3Link Camera Solution Kit. Ang kit na ito ay may deserilizer hub na pinagsasama-sama ng 4 na CSI-2 camera stream, pati na rin ang 4 na pares ng V3link serializer at IMX219 camera, kabilang ang FAKRA coaxial cable at 22-pin FPC cable. Ang reference na disenyo na tinalakay sa ibang pagkakataon ay binuo sa kit na ito.
2.2 CSI-2 Aggregator nang hindi Gumagamit ng SerDes
Ang ganitong uri ng aggregator ay maaaring direktang mag-interface sa maraming MIPI CSI-2 camera at pagsama-samahin ang data mula sa lahat ng camera sa isang solong CSI-2 output stream.
Ang Figure 2-3 ay nagpapakita ng isang example ng ganitong sistema. Ang ganitong uri ng pinagsama-samang solusyon ay hindi gumagamit ng anumang serializer/deserializer ngunit nililimitahan ng maximum na distansya ng paglilipat ng data ng CSI-2, na hanggang 30cm. Hindi sinusuportahan ng AM6x Linux SDK ang ganitong uri ng CSI-2 aggregator.

Deserializer Hub

Camera

CSI-2 Rx

Camera Camera Camera

CSI-2 Rx CSI-2 Rx

CSI-2 Tx

CSI-2 Rx

AM62A/ AM62P
SoC

Larawan 2-3. Pagkonekta ng Maramihang Camera Gamit ang CSI-2 Aggregator

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Paganahin ang Maramihang Mga Camera sa Software

3 Paganahin ang Maramihang Mga Camera sa Software

3.1 Arkitektura ng Software ng Subsystem ng Camera
Ang Figure 3-1 ay nagpapakita ng mataas na antas na block diagram ng camera capture system software sa AM62A/AM62P Linux SDK, na naaayon sa HW system sa Figure 2-2.

Mga application ng gumagamit

V4L2 na mga utility

Media controller

TI CSI2RX driver (SHIM, DMASS)
Cadence CSI2 – RX Driver
Cadence D – PHY Driver
Deserializer Driver
Serializer Driver
Driver ng Camera Sensor
V4L2 Framework
Larawan 3-1. High-Level Block Diagram ng Camera Capture System Gamit ang SerDes
Ang arkitektura ng software na ito ay nagbibigay-daan sa SoC na makatanggap ng maraming stream ng camera gamit ang SerDes, tulad ng ipinapakita sa Figure 2-2. Ang FPD-Link/V3-Link SerDes ay nagtatalaga ng natatanging I2C address at virtual na channel sa bawat camera. Dapat gumawa ng natatanging overlay ng device tree gamit ang natatanging I2C address para sa bawat camera. Kinikilala ng driver ng CSI-2 RX ang bawat camera gamit ang natatanging virtual channel number at lumilikha ng konteksto ng DMA sa bawat stream ng camera. Ang isang video node ay nilikha para sa bawat konteksto ng DMA. Ang data mula sa bawat camera ay tinatanggap at iniimbak gamit ang DMA sa memorya nang naaayon. Ginagamit ng mga user space application ang mga video node na naaayon sa bawat camera upang ma-access ang data ng camera. HalampAng mga kaunting paggamit ng arkitektura ng software na ito ay ibinibigay sa kabanata 4 na disenyo ng sanggunian.
Ang anumang partikular na driver ng sensor na sumusunod sa V4L2 framework ay maaaring mag-plug at maglaro sa arkitektura na ito. Sumangguni sa [8] tungkol sa kung paano magsama ng bagong sensor driver sa Linux SDK.
3.2 Image Pipeline Software Architecture Ang AM6x Linux SDK ay nagbibigay ng balangkas ng GStreamer (GST) na maaaring magamit sa espasyo ng gumagamit upang isama ang mga bahagi sa pagpoproseso ng imahe para sa iba't ibang mga aplikasyon. Ang Hardware Accelerators (HWA) sa SoC, gaya ng Vision Pre-processing Accelerator (VPAC) o ISP, video encoder/decoder, at deep learning compute engine, ay ina-access sa pamamagitan ng GST plugins. Ang VPAC (ISP) mismo ay may maraming mga bloke, kabilang ang Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), at Multiscalar (MSC), bawat isa ay nauugnay sa isang GST plugin.
Ipinapakita ng Figure 3-2 ang block diagram ng isang tipikal na pipeline ng imahe mula sa camera hanggang sa pag-encode o deep learning na mga application sa AM62A. Para sa higit pang mga detalye tungkol sa end-to-end na daloy ng data, sumangguni sa dokumentasyon ng EdgeAI SDK.

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Paganahin ang Maramihang Mga Camera sa Software

Kontrol sa auto-exposure

2A algorithm

Camera

v4l2src

GST plugins para sa ISP

Pag-encode ng HWA
GST plugins para sa Encoding
GST plugins para sa Deep Learning

www.ti.com
Mga aplikasyon sa ibaba ng agos

ISP HWA

Deep Learning HWA

Gstreamer (GST) plugin AM62A Hardware Accelerator (HWA)
Larawan 3-2. Isang Karaniwang AM62A Image Pipeline Gamit ang GStreamer Para sa AM62P, ang pipeline ng imahe ay mas simple dahil walang ISP sa AM62P.

Pag-encode ng HWA

Camera

v4l2src

GST plugins para sa Encoding
GST plugins para sa 3-D Graphics

Mga aplikasyon sa ibaba ng agos

Deep Learning HWA
Gstreamer (GST) plugin AM62P Hardware Accelerator (HWA)
Larawan 3-3. Isang Karaniwang AM62P Image Pipeline na Gumagamit ng GStreamer
Sa pamamagitan ng isang video node na ginawa para sa bawat isa sa mga camera, ang GStreamer-based na image pipeline ay nagbibigay-daan sa pagproseso ng maraming input ng camera (nakakonekta sa parehong CSI-2 RX interface) nang sabay-sabay. Ang isang reference na disenyo gamit ang GStreamer para sa mga multi-camera na application ay ibinibigay sa susunod na kabanata.

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Disenyo ng Sanggunian

4 Disenyo ng Sanggunian
Ang kabanatang ito ay nagpapakita ng isang reference na disenyo ng pagpapatakbo ng mga application na maramihang-camera sa AM62A EVM, gamit ang Arducam V3Link Camera Solution Kit upang ikonekta ang 4 na CSI-2 camera sa AM62A at pagpapatakbo ng object detection para sa lahat ng 4 na camera.
4.1 Mga Sinusuportahang Camera
Gumagana ang Arducam V3Link kit sa parehong FPD-Link/V3-Link based na mga camera at Raspberry Pi compatible CSI-2 camera. Ang mga sumusunod na camera ay nasubok na: · D3 Engineering D3RCM-IMX390-953 · Leopard Imaging LI-OV2312-FPDLINKIII-110H · IMX219 na mga camera sa Arducam V3Link Camera Solution Kit
4.2 Pag-set up ng Apat na IMX219 Camera
Sundin ang mga tagubiling ibinigay sa AM62A Starter Kit EVM Quick Start Guild para i-setup ang SK-AM62A-LP EVM (AM62A SK) at ArduCam V3Link Camera Solution Quick Start Guide para ikonekta ang mga camera sa AM62A SK sa pamamagitan ng V3Link kit. Tiyaking ang mga pin sa mga flex cable, camera, V3Link board, at AM62A SK ay nakahanay nang maayos.
Ipinapakita ng Figure 4-1 ang setup na ginamit para sa reference na disenyo sa ulat na ito. Kasama sa mga pangunahing bahagi sa setup ang: · 1X SK-AM62A-LP EVM board · 1X Arducam V3Link d-ch adapter board · FPC cable na kumukonekta sa Arducam V3Link sa SK-AM62A · 4X V3Link camera adapter (serializers) · 4X RF coaxial cable para ikonekta ang V3Link 3 d-ch na mga serializer sa V4 · V219Link d-ch ki V4 · 2X CSI-22 62 pin cable para ikonekta ang mga camera sa mga serializer · Mga cable: HDMI cable, USB-C to power SK-AM12A-LP at 3V power sourced para sa V4Link d-ch kit) · Iba pang mga component na hindi ipinapakita sa Figure 1-62: micro-SD card, micro-USB cable para ma-access ang SK-AMXNUMXA-LP, at
ethernet para sa streaming

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Disenyo ng Sanggunian

www.ti.com

Larawan 4-1. V3link Board at 4 na Camera Setup na Ginamit sa Reference Design
4.3 Pag-configure ng Mga Camera at CSI-2 RX Interface
I-set up ang software ayon sa mga tagubiling ibinigay sa Arducam V3Link Quick Start Guide. Pagkatapos patakbuhin ang script ng pag-setup ng camera, ang setup-imx219.sh, ang format ng mga camera, ang format ng interface ng CSI-2 RX, at ang mga ruta mula sa bawat camera patungo sa kaukulang video node ay mai-configure nang maayos. Apat na video node ang nilikha para sa apat na IMX219 camera. Ipinapakita ng command na “v4l2-ctl –list-devices” ang lahat ng V4L2 na video device, tulad ng ipinapakita sa ibaba:
root@am62axx-evm:~# v4l2-ctl –list-devices j721e-csi2rx (platform:30102000.ticsi2rx):
/dev/video2 /dev/video3 /dev/video4 /dev/video5 /dev/video6 /dev/video7 /dev/media0
wave5-dec (platform:wave5-dec): /dev/video0
wave5-enc (platform:wave5-enc): /dev/video1

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Disenyo ng Sanggunian

Mayroong 6 na video node at 1 media node sa ilalim ng tiscsi2rx. Ang bawat node ng video ay tumutugma sa isang konteksto ng DMA
inilalaan ng driver ng CSI2 RX. Sa 6 na video node, 4 ang ginagamit para sa 4 na IMX219 camera, tulad ng ipinapakita sa
ang media pipe topology sa ibaba:
ugat@am62axx-evm:~# media-ctl -p
Topology ng device – entity 1: 30102000.ticsi2rx (7 pad, 7 link, 4 na ruta)
i-type ang V4L2 subdev subtype Mga hindi kilalang flag 0 pangalan ng node ng device /dev/v4l-subdev0 na mga ruta:
0/0 -> 1/0 [ACTIVE] 0/1 -> 2/0 [ACTIVE] 0/2 -> 3/0 [ACTIVE] 0/3 -> 4/0 [ACTIVE] pad0: Sink [stream:0 fmt:UYVY8_1X16/640×480 field:none colorspace:srgb x601y:srgb x1y: quantization:lim-range] [stream:8 fmt:UYVY1_16X640/480×601 field:none colorspace:srgb xfer:srgb ycbcr:2 quantization:lim-range] [stream:8 fmt:UYVY1_16X640/480x601 colorspace:srgb colorspace:srgb ycbcr:3 quantization:lim-range] [stream:8 fmt:UYVY1_16X640/480×601 field:none colorspace:srgb xfer:srgb ycbcr:2 quantization:lim-range] <- “cdns_csi30101000rx.1D1D pad0: Source [stream:8 fmt:UYVY1_16X640/480×601 field:none colorspace:srgb xfer:srgb ycbcr:30102000 quantization:lim-range] -> “2.ticsi0rx context 0”:2 [ENABLED]pad0: Source fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] -> “30102000.ticsi2rx context 1”:0 [ENABLED,IMMUTABLE] pad3: Source [stream:0 fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] -> “30102000.ticsi2rx context 2”:0 [ENABLED,IMMUTABLE] pad4: Source [stream:0] fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] -> “30102000.ticsi2rx context 3”:0 [ENABLED,IMMUTABLE] pad5: Source -> “30102000” pad2: Source -> “4 [INABLED,IMMUTABLE] pad0: Source -> “6.ticsi30102000rx context 2″:5 [ENABLED,IMMUTABLE]

Gaya ng ipinapakita sa itaas, ang media entity na 30102000.ticsi2rx ay may 6 na source pad, ngunit ang unang 4 lang ang ginagamit, bawat isa para sa isang IMX219. Ang media pipe topology ay maaari ding ilarawan nang grapiko. Patakbuhin ang sumusunod na command upang makabuo ng isang tuldok file:
root@am62axx-evm:~# media-ctl –print-dot > media.dot

Pagkatapos ay patakbuhin ang command sa ibaba sa isang Linux host PC para makabuo ng png file:
$ tuldok -Tpng media-top.dot -o media-top.png

Ang Figure 4-2 ay isang larawang nabuo gamit ang mga utos na ibinigay sa itaas. Ang mga bahagi sa arkitektura ng software ng Figure 3-1 ay matatagpuan sa graph na ito.

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Disenyo ng Sanggunian

Mga Serializer ng Camera

Imx219 6-0010 /dev/v4l-subdev9
0
0 ds90ub953 4-0044 /dev/v41-subdev8
1

Imx219 7-0010 /dev/v4l-subdev5
0
0 ds90ub953 4-0045 /dev/v41-subdev3
1

Imx219 8-0010 /dev/v4l-subdev7
0
0 ds90ub953 4-0046 /dev/v41-subdev4
1

Deserializer hub

ds90ub960 4-0030 /dev/v4l-subdev2

D-PHY at CSI-2 Rx bridge

0
cdns_csi2rx.30101000.csi-bridge /dev/v4l-subdev1

TI CSI-2 RX (SHIM, DMASS)

0 30102000.ticsi2rx /dev/v4l-subdev0
1 23 4 5 6

www.ti.com
Imx219 9-0010 /dev/v4l-subdev10
0
0 ds90ub953 4-0047 /dev/v41-subdev6
1

30102000.ticsi2rx context 0 /dev/video2

30102000.ticsi2rx context /dev/video3

1text3010200/d0e.tvic/vsiid2erxo4context

30102000.ticsi2rx context 3 /dev/video5

30102000.ticsi2rx context 4 /dev/video6

30102000.ticsi2rx context 5 /dev/video7

Mga video node: unang 4 na node ang ginagamit, isa para sa bawat camera

Larawan 4-2. Media Topology ng Multi-Camera System

4.4 Pag-stream mula sa Apat na Camera
Sa parehong hardware at software na na-set up nang maayos, ang mga application na maramihang-camera ay maaaring tumakbo mula sa espasyo ng user. Para sa AM62A, ang ISP ay dapat na nakatutok upang makagawa ng magandang kalidad ng imahe. Sumangguni sa AM6xA ISP Tuning Guide para sa kung paano magsagawa ng ISP tuning. Ang mga sumusunod na seksyon ay nagpapakita ng halampkaunting pag-stream ng data ng camera sa isang display, pag-stream ng data ng camera sa isang network, at pag-iimbak ng data ng camera sa files.
4.4.1 Pag-stream ng Data ng Camera na Ipapakita
Ang pangunahing aplikasyon ng multi-camera system na ito ay ang pag-stream ng mga video mula sa lahat ng camera patungo sa isang display na konektado sa parehong SoC. Ang sumusunod ay isang GStreamer pipeline exampAng pag-stream ng apat na IMX219 sa isang display (ang mga numero ng video node at mga numero ng v4l-subdev sa pipeline ay malamang na magbago mula sa pag-reboot hanggang sa pag-reboot).

gst-launch-1.0 v4l2src device=/dev/video2 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sink_0::device=/dev/v4l-subdev9 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, lapad=1920,taas=1080 ! pila ! mosaic.sink_0 v4l2src device=/dev/video3 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sink_0::device=/dev/v4l-subdev5 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, lapad=1920,taas=1080 ! pila ! mosaic.sink_1 v4l2src device=/dev/video4 io-mode=5 ! video/x-

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Disenyo ng Sanggunian

bayer, lapad=1920, taas=1080, framerate=30/1, format=bggr ! tumutulo ang pila=2 ! tiovxisp sink_0::device=/dev/v4l-subdev7 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, lapad=1920,taas=1080 ! pila ! mosaic.sink_2 v4l2src device=/dev/video5 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sink_0::device=/dev/v4l-subdev10 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,format=NV12, lapad=1920,taas=1080 ! pila ! mosaic.sink_3 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<640>” sink_0::heights=”<480>” sink_1::startx=”<0>”ty sink_1::startx=”<480>> sink_1::widths=”<640>” sink_1::heights=”<480>” sink_2::startx=”<640>” sink_2::starty=”<0>” sink_2::widths=”<640>” sink_2::heights=”<480>”start sinkx_3”: sink_640::starty=”<3>” sink_480::widths=”<3>” sink_640::heights=”<3>” ! pila ! video/x-raw, lapad=480, taas=1920 ! kmssink driver-name=tidss sync=false forcemodesetting=true

4.4.2 Pag-stream ng Data ng Camera sa pamamagitan ng Ethernet
Sa halip na mag-stream sa isang display na konektado sa parehong SoC, ang data ng camera ay maaari ding i-stream sa pamamagitan ng Ethernet. Ang panig ng pagtanggap ay maaaring isa pang processor ng AM62A/AM62P o isang host PC. Ang sumusunod ay isang example ng pag-stream ng data ng camera sa pamamagitan ng Ethernet (gamit ang dalawang camera para sa pagiging simple) (tandaan ang encoder plugin na ginamit sa pipeline):
gst-launch-1.0 v4l2src device=/dev/video2 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 ! pila ! video/x-raw,format=NV12,width=1920,taas=1080,framerate=30/1 ! v4l2h264enc ! rtph264pay ! udpsink port=5000 host= v4l2src device=/dev/video3 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! pila ! video/x-raw,format=NV12,width=1920,taas=1080,framerate=30/1 ! v4l2h264enc ! rtph264pay ! udpsink port=5001 host=

Ang sumusunod ay isang example ng pagtanggap ng data ng camera at pag-stream sa isang display sa isa pang AM62A/AM62P processor:
gst-launch-1.0 -v udpsrc port=5000 ! 'application/x-rtp, encoding-name=H264, payload=96' ! rtph264depay ! avdec_h264 ! pila ! videoconvert ! pila ! video/x-raw,format=NV12,width=1920,taas=1080 ! pila ! mosaic.sink_0 udpsrc port=5001 ! 'application/x-rtp, encoding-name=H264, payload=96' ! rtph264depay ! avdec_h264 ! pila ! videoconvert ! pila ! video/x-raw,format=NV12,width=1920,taas=1080 ! pila ! mosaic.sink_1 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<960>” sink_0::heights=”<540>” sink_1::startx=”<960>”starty sink_1”<540>” sink_1::widths=”<960>” sink_1::heights=”<540>” ! pila ! kmssink driver-name=tidss sync=false

4.4.3 Pag-iimbak ng Data ng Camera sa Files
Sa halip na mag-stream sa isang display o sa pamamagitan ng isang network, ang data ng camera ay maaaring maimbak sa lokal files. Iniimbak ng pipeline sa ibaba ang data ng bawat camera sa a file (gamit ang dalawang camera bilang example para sa pagiging simple).
gst-launch-1.0 v4l2src device=/dev/video2 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 !

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Disenyo ng Sanggunian

www.ti.com

pila ! video/x-raw,format=NV12,width=1920,taas=1080,framerate=30/1 ! v4l2h264enc ! filelokasyon ng lababo=camcap-1.mp4 v4l2src device=/dev/video3 io-mode=5 ! video/xbayer,width=1920,height=1080,framerate=30/1,format=bggr ! tumutulo ang pila=2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! pila ! video/x-raw,format=NV12,width=1920,taas=1080,framerate=30/1 ! v4l2h264enc ! filelokasyon ng lababo=cam-cap-2.mp4

4.5 Multicamera Deep Learning Inference

Ang AM62A ay nilagyan ng deep learning accelerator (C7x-MMA) na may hanggang dalawang TOPS, na may kakayahang magpatakbo ng iba't ibang uri ng deep learning models para sa classification, object detection, semantic segmentation, at higit pa. Ipinapakita ng seksyong ito kung paano maaaring sabay na magpatakbo ng apat na deep learning model ang AM62A sa apat na magkakaibang mga feed ng camera.

4.5.1 Pagpili ng Modelo

Ang EdgeAI-ModelZoo ng TI ay nagbibigay ng daan-daang mga makabagong modelo na na-convert/na-export mula sa kanilang orihinal na mga framework ng pagsasanay sa isang naka-embed na friendly na format upang mai-offload ang mga ito sa C7x-MMA deep learning accelerator. Ang cloud-based na Edge AI Studio Model Analyzer ay nagbibigay ng madaling gamitin na tool na "Pagpipilian ng Modelo". Ito ay dynamic na ina-update upang isama ang lahat ng mga modelong sinusuportahan sa TI EdgeAI-ModelZoo. Ang tool ay hindi nangangailangan ng nakaraang karanasan at nagbibigay ng isang madaling gamitin na interface upang maipasok ang mga tampok na kinakailangan sa nais na modelo.

Ang TFL-OD-2000-ssd-mobV1-coco-mlperf ay pinili para sa multi-camera deep learning experiment na ito. Ang multi-object detection model na ito ay binuo sa Tensor Flow framework na may 300×300 input resolution. Ipinapakita ng talahanayan 4-1 ang mahahalagang tampok ng modelong ito kapag sinanay sa coco dataset na may humigit-kumulang 80 iba't ibang klase.

Talahanayan 4-1. I-highlight ang Mga Tampok ng Modelong TFL-OD-2000-ssd-mobV1-coco-mlperf.

Modelo

Gawain

Resolusyon

FPS

MAP 50% Katumpakan Sa COCO

Latency/Frame (ms)

Paggamit ng DDR BW (MB/ Frame)

TFL-OD-2000-ssd-

Maraming Bagay 300×300

~152

15.9

6.5

mobV1-coco-mlperf

Pagtuklas

18.839

4.5.2 Pag-setup ng Pipeline
Ipinapakita ng Figure 4-3 ang 4-camera deep learning GStreamer pipeline. Nagbibigay ang TI ng suit ng GStreamer plugins na nagbibigay-daan sa pag-offload ng ilan sa pagpoproseso ng media at ang malalim na pagkatuto ng hinuha sa mga hardware accelerators. Ilang exampang mga ito plugins isama ang tiovxisp, tiovxmultiscaler, tiovxmosaic, at tidlinferer. Kasama sa pipeline sa Figure 4-3 ang lahat ng kinakailangan plugins para sa isang multipath na GStreamer pipeline para sa 4-camera input na bawat isa ay may media preprocess, malalim na pag-aaral ng inference, at postprocess. Ang duplicated plugins para sa bawat isa sa mga path ng camera ay nakasalansan sa graph para sa mas madaling pagpapakita.
Ang mga magagamit na mapagkukunan ng hardware ay pantay na ibinahagi sa apat na landas ng camera. Halimbawa, naglalaman ang AM62A ng dalawang multiscaler ng imahe: MSC0 at MSC1. Ang pipeline ay tahasang inilaan ang MSC0 upang iproseso ang camera 1 at camera 2 path habang ang MSC1 ay nakatuon sa camera 3 at camera 4.

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com
CSI IMX219 Cam(1) Cam(2) Cam(3) Cam(4)

VISS Accelerator

MSC Accelerator

1920×1080

RGGB

NV12

Input Capture

Exposure Gain

v4l2src

tiovxisp

Scale at Split tiovxmultiscaler

1110×690 NV12

pila

MSC Accelerator

Scale tiovxmultiscaler
640×480 NV12

Deep Learning Accelerator C7x/MMA

pila

Disenyo ng Sanggunian
MSC Accelerator
Scale tiovxmultiscaler
300×300 NV12
Preprocessing tiovxdlpreproc
300×300RGB
tidlinferer
Mag-post ng proseso tidlpostproc

DSS Accelerator

MSC Accelerator

192×1080
NV12 HDMI

Upang Ipakita ang kmssink

Pagganap ng tiporfoverlay

Conc Images tiovxmosaic

4x640x480 NV12

GST Plugin ARM NEON Optimized GST Plugin ARM Deep Learning Run time

GST Plugin na may HW HW Accelerator Application Code sa mga A53 ARM core

Larawan 4-3. GStreamer Pipeline para sa Quad CSI IMX219 Camera Deep Learning Inference sa AM62A

Ang output ng apat na pipeline ng camera ay pinaliit at pinagsama-sama gamit ang tiovxmosaic plugin. Ang output ay ipinapakita sa isang solong screen. Ipinapakita ng Figure 4-4 ang output ng apat na camera na may deep learning model running object detection. Ang bawat pipeline (camera) ay tumatakbo sa 30 FPS at kabuuang 120 FPS.

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Disenyo ng Sanggunian

www.ti.com

Larawan 4-4. Screenshot ng Quad Camera Object Detection Deep Learning Inference gamit ang AM62A na may Graphical Performance Overlay
Susunod ay ang buong pipeline script para sa multicamera deep learning use case na ipinapakita sa Figure 4-3.
gst-launch-1.0 -v v4l2src device=/dev/video2 io-mode=5 ! tumutulo ang pila=2 ! video/x-bayer, lapad=1920, taas=1080, format=rggb ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=0 name=split_01 split_01. ! pila ! video/x-raw, lapad=1110, taas=690 ! tiovxmultiscaler target=0 ! video/xraw, lapad=300, taas=300 ! tiovxdlpreproc data-type=3 channel-order=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_0.tensor split_01. ! pila ! video/x-raw, lapad=640, taas=360 ! post_0.sink tidlpostproc name=post_0 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! pila ! mosaic_0. v4l2src device=/dev/video3 io-mode=5 ! tumutulo ang pila=2 ! video/x-bayer, lapad=1920, taas=1080, format=rggb ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=0 name=split_11 split_11. ! pila ! video/x-raw, lapad=1110, taas=690 ! tiovxmultiscaler target=0 ! video/xraw, lapad=300, taas=300 ! tiovxdlpreproc data-type=3 channel-order=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_1.tensor split_11. ! pila ! video/x-raw, lapad=640, taas=360 ! post_1.sink tidlpostproc name=post_1 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! pila ! mosaic_0. v4l2src device=/dev/video4 io-mode=5 ! tumutulo ang pila=2 ! video/x-bayer, lapad=1920, taas=1080, format=rggb ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=1 name=split_21 split_21. ! pila ! video/x-raw, lapad=1110, taas=690 ! tiovxmultiscaler target=1 ! video/xraw, lapad=300, taas=300 ! tiovxdlpreproc data-type=3 channel-order=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_2.tensor split_21. ! pila ! video/x-raw, lapad=640, taas=360 ! post_2.sink tidlpostproc name=post_2 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! pila ! mosaic_0.

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Disenyo ng Sanggunian

v4l2src device=/dev/video5 io-mode=5 ! tumutulo ang pila=2 ! video/x-bayer, lapad=1920, taas=1080, format=rggb ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! video/x-raw, format=NV12 ! tiovxmultiscaler target=1 name=split_31 split_31. ! pila ! video/x-raw, lapad=1110, taas=690 ! tiovxmultiscaler target=1 ! video/xraw, lapad=300, taas=300 ! tiovxdlpreproc data-type=3 channel-order=1 tensor-format=rgb outpool-size=4 ! application/x-tensor-tiovx ! tidlinferer target=1 model=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_3.tensor split_31. ! pila ! video/x-raw, lapad=640, taas=360 ! post_3.sink tidlpostproc name=post_3 model=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! pila ! mosaic_0. tiovxmosaic src::pool-size=3 name=mosaic_0 sink_0::startx=”<320>” sink_0::starty=”<180>” sink_0::widths=”<640>” sink_0::heights=”<360>” sink_1:<:startx>=” sink_960::starty=”<1>” sink_180::widths=”<1>” sink_640::heights=”<1>” sink_360::startx=”<2>” sink_320::starty=”<2>” sink_560::widths=”<2>”sink_640”:<2>” sink_360:<3>” sink_960 sink_3::startx=”<560>” sink_3::starty=”<640>” sink_3::widths=”<360>” sink_12::heights=”<1920>” ! video/x-raw,format=NV1080, lapad=62, taas=XNUMX ! pila ! tiperfoverlay title=”AMXNUMXA: Quad Camera Object Detection” ! kmssink sync=false driver-name=tidss force-modesetting=true

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Pagsusuri sa Pagganap

www.ti.com

5 Pagsusuri sa Pagganap
Ang setup na may apat na camera gamit ang V3Link board at ang AM62A SK ay sinubukan sa iba't ibang mga eksena ng application, kabilang ang direktang pagpapakita sa isang screen, streaming sa Ethernet (apat na UDP channel), pag-record sa 4 na magkakahiwalay files, at may malalim na hinuha sa pag-aaral. Sa bawat eksperimento, sinusubaybayan namin ang frame rate at ang paggamit ng mga core ng CPU upang galugarin ang buong kakayahan ng system.
Gaya ng naunang ipinakita sa Figure 4-4, ginagamit ng deep learning pipeline ang tiperfoverlay GStreamer plugin upang ipakita ang mga core load ng CPU bilang bar graph sa ibaba ng screen. Bilang default, ina-update ang graph bawat dalawang segundo upang ipakita ang mga pag-load bilang porsyento ng paggamittage. Bilang karagdagan sa plugin na tiperfoverlay GStreamer, ang tool na perf_stats ay isang pangalawang opsyon upang ipakita ang pagganap ng mga core nang direkta sa terminal na may opsyon para sa pag-save sa isang file. Ang tool na ito ay mas tumpak kumpara sa tiperfoverlay dahil ang huli ay nagdaragdag ng dagdag na pagkarga sa mga Arm core at ang DDR upang iguhit ang graph at i-overlay ito sa screen. Ang tool na perf_stats ay pangunahing ginagamit upang mangolekta ng mga resulta ng paggamit ng hardware sa lahat ng mga kaso ng pagsubok na ipinapakita sa dokumentong ito. Ang ilan sa mahahalagang processing core at accelerators na pinag-aralan sa mga pagsubok na ito ay kinabibilangan ng mga pangunahing processor (apat na A53 Arm cores @ 1.25GHz), ang deep learning accelerator (C7x-MMA @ 850MHz), ang VPAC (ISP) na may VISS at multiscaler (MSC0 at MSC1), at DDR operations.
Ipinapakita ng talahanayan 5-1 ang pagganap at paggamit ng mapagkukunan kapag gumagamit ng AM62A na may apat na camera para sa tatlong mga kaso ng paggamit, kabilang ang pag-stream ng apat na camera sa isang display, streaming sa ethernet, at pag-record sa apat na magkakahiwalay files. Dalawang pagsubok ang ipinapatupad sa bawat kaso ng paggamit: gamit ang camera lamang at may malalim na pag-unawa sa pagkatuto. Bilang karagdagan, ang unang hilera sa Talahanayan 5-1 ay nagpapakita ng mga paggamit ng hardware kapag ang operating system lang ang tumatakbo sa AM62A nang walang anumang mga application ng user. Ginagamit ito bilang baseline upang ihambing kapag sinusuri ang mga paggamit ng hardware ng iba pang mga kaso ng pagsubok. Gaya ng ipinapakita sa talahanayan, ang apat na camera na may malalim na pag-aaral at display ng screen ay gumana sa 30 FPS bawat isa na may kabuuang 120 FPS para sa apat na camera. Ang mataas na frame rate na ito ay nakakamit sa 86% lamang ng buong kapasidad ng deep learning accelerator (C7x-MMA). Bilang karagdagan, mahalagang tandaan na ang deep learning accelerator ay na-clock sa 850MHz sa halip na 1000MHz sa mga eksperimentong ito, na halos 85% lamang ng maximum na pagganap nito.

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com

Pagsusuri sa Pagganap

Talahanayan 5-1. Performance (FPS) at Resource Utilization ng AM62A kapag ginamit sa 4 na IMX219 Camera para sa Screen Display, Ethernet Stream, Record to Files, at Pagsasagawa ng Deep Learning Inferencing

Applicatio Pipeline Output

(operasyon

)

FPS avg FPS pipeline kabuuang s

Mga MPU A53s @ 1.25 GHz [%]

MCU R5 [%]

DLA (C7xMMA) @ 850 MHz [%]

VISS [%]

MSC0 MSC1 DDR DDR DDR

[%] [%]

Kabuuan

[MB/s] [MB/s] [MB/s]

Walang App

Baseline NA Walang operasyon

1.87 1

560 19

579

Stream ng Camera sa Screen 30

lamang

Screen

120 12

1015 757 1782

Stream UDP: 4 30

120 23

2071 1390 3461

tapos na

mga daungan

ethernet 1920×1080

Itala sa 4 files

120 25

2100 1403 3503

files

1920×1080

Cam kasama si Deep

Screen 30

Malalim

pag-aaral:

Learning Object

pagtuklas

MobV1-

coco

120 38

2926 1676 4602

Malalim na pag-aaral: Object detection MobV1coco at Stream sa ethernet

UDP: 4 28 port 1920×1080

112 84

4157 2563 6720

Malalim na pag-aaral: Object detection MobV1coco at i-record sa files

4 files

1920×1080

112 87

2024 2458 6482

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

Buod

www.ti.com

6 Buod
Ang ulat ng application na ito ay naglalarawan kung paano ipatupad ang mga multi-camera na application sa AM6x na pamilya ng mga device. Ang isang reference na disenyo batay sa V3Link Camera Solution Kit ng Arducam at AM62A SK EVM ay ibinigay sa ulat, na may ilang application ng camera na gumagamit ng apat na IMX219 camera tulad ng streaming at object detection. Hinihikayat ang mga user na kunin ang V3Link Camera Solution Kit mula sa Arducam at gayahin ang mga ex na itoamples. Nagbibigay din ang ulat ng detalyadong pagsusuri ng pagganap ng AM62A habang gumagamit ng apat na camera sa ilalim ng iba't ibang configuration kabilang ang pagpapakita sa isang screen, streaming sa Ethernet, at pag-record sa files. Ipinapakita rin nito ang kakayahan ng AM62A na magsagawa ng malalim na pag-aaral ng hinuha sa apat na magkahiwalay na stream ng camera nang magkatulad. Kung mayroong anumang mga katanungan tungkol sa pagpapatakbo ng mga examples, magsumite ng pagtatanong sa TI E2E forum.

Pagbuo ng Mga Multiple-Camera Application sa AM6x

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

www.ti.com
7 Mga Sanggunian
1. AM62A Starter Kit EVM Quick Start Guide 2. ArduCam V3Link Camera Solution Quick Start Guide 3. Edge AI SDK documentation para sa AM62A 4. Edge AI Smart Cameras Gamit ang Energy-Efficient AM62A Processor 5. Camera Mirror System sa AM62A 6. Driver at Occupancy Monitoring System sa Quad Channel Application para sa Surround Channel Camera 62. View at CMS Camera Systems 8. AM62Ax Linux Academy sa Pagpapagana ng CIS-2 Sensor 9. Edge AI ModelZoo 10. Edge AI Studio 11. Perf_stats tool
Mga Bahagi ng TI na Tinutukoy sa Aplikasyon na Ito Tandaan: · https://www.ti.com/product/AM62A7 · https://www.ti.com/product/AM62A7-Q1 · https://www.ti.com/product/AM62A3 · https://www.ti.com/product/AM62A3-Q1 · https://www.ti.com/product/AM62P.com · https://www.ti.com/product/AM62P https://www.ti.com/product/DS1UB90-Q960 · https://www.ti.com/product/DS1UB90-Q953 · https://www.ti.com/product/TDES1 · https://www.ti.com/product/TSER960

Mga sanggunian

SPRADH2 FEBRUARY 2024 Magsumite ng Feedback sa Dokumento

Pagbuo ng Mga Multiple-Camera Application sa AM6x

MAHALAGANG PAUNAWA AT DISCLAIMER
NAGBIBIGAY ANG TI NG DATA NG TEKNIKAL AT PAGKAAASAHAN (KASAMA ANG MGA DATA SHEET), MGA RESOURCES NG DESIGN (KASAMA ANG MGA DESIGN NG SANGGUNIAN), APPLICATION O IBA PANG PAYO SA DESIGN, WEB MGA TOOL, IMPORMASYON SA KALIGTASAN, AT IBA PANG MGA RESOURCES “AS IS” AT MAY LAHAT NG MGA FAULTY, AT TINATAWAN ANG LAHAT NG WARRANTY, IPINAHAYAG AT IPINAHIWATIG, KASAMA ANG WALANG LIMITASYON NG ANUMANG IPINAHIWATIG NA WARRANTY NG KAKAYKALIDAD, KAANGKUPAN PARA SA ISANG PARTIKULAR NA PURPOSE NA TANDA .
Ang mga mapagkukunang ito ay inilaan para sa mga bihasang developer na nagdidisenyo gamit ang mga produkto ng TI. Ikaw ang tanging responsable para sa (1) pagpili ng naaangkop na mga produkto ng TI para sa iyong aplikasyon, (2) pagdidisenyo, pagpapatunay at pagsubok sa iyong aplikasyon, at (3) pagtiyak na ang iyong aplikasyon ay nakakatugon sa mga naaangkop na pamantayan, at anumang iba pang kaligtasan, seguridad, regulasyon o iba pang mga kinakailangan .
Ang mga mapagkukunang ito ay maaaring magbago nang walang abiso. Binibigyan ka ng TI ng pahintulot na gamitin ang mga mapagkukunang ito para lamang sa pagbuo ng isang application na gumagamit ng mga produktong TI na inilarawan sa mapagkukunan. Ang iba pang pagpaparami at pagpapakita ng mga mapagkukunang ito ay ipinagbabawal. Walang lisensya ang ibinibigay sa anumang iba pang karapatan sa intelektwal na ari-arian ng TI o sa anumang karapatan sa intelektwal na ari-arian ng ikatlong partido. Tinatanggihan ng TI ang pananagutan para sa, at ganap mong babayaran ng danyos ang TI at ang mga kinatawan nito laban sa, anumang paghahabol, pinsala, gastos, pagkalugi, at pananagutan na magmumula sa iyong paggamit ng mga mapagkukunang ito.
Ang mga produkto ng TI ay ibinibigay alinsunod sa Mga Tuntunin ng Pagbebenta ng TI o iba pang naaangkop na mga tuntuning available alinman sa ti.com o ibinigay kasama ng mga naturang produkto ng TI. Ang probisyon ng TI ng mga mapagkukunang ito ay hindi nagpapalawak o kung hindi man ay binabago ang mga naaangkop na warranty o mga disclaimer ng warranty ng TI para sa mga produkto ng TI.
Ang TI ay tumututol at tinatanggihan ang anumang karagdagang o ibang mga termino na maaaring iminungkahi mo. MAHALAGANG PAUNAWA
Mailing Address: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265 Copyright © 2024, Texas Instruments Incorporated

Mga Dokumento / Mga Mapagkukunan

Texas Instruments AM6x Pagbuo ng Maramihang Camera [pdf] Gabay sa Gumagamit
AM62A, AM62P, AM6x Pagbuo ng Maramihang Camera, AM6x, Pagbuo ng Maramihang Camera, Maramihang Camera, Camera

Mga sanggunian

User Manual

Texas Instruments AM6x Pagbuo ng Maramihang Gabay sa Gumagamit ng Camera

AM6x Pagbuo ng Maramihang Camera

Mga pagtutukoy:

Mga Tagubilin sa Paggamit ng Produkto:

1. Panimula sa Multiple-Camera Applications sa AM6x:

2. Mga Application na Gumagamit ng Maramihang Mga Camera:

3. Pagkonekta ng Maramihang CSI-2 Camera sa SoC:

Mga Madalas Itanong (FAQ):

T: Maaari ba akong gumamit ng anumang uri ng camera na may pamilya ng AM6x
mga device?

Q: Ano ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P in
pagpoproseso ng imahe?

Mga Dokumento / Mga Mapagkukunan

Mga sanggunian

Mag-iwan ng komento

Kanselahin ang tugon

AM6x Pagbuo ng Maramihang Camera

Mga pagtutukoy:

Mga Tagubilin sa Paggamit ng Produkto:

1. Panimula sa Multiple-Camera Applications sa AM6x:

2. Mga Application na Gumagamit ng Maramihang Mga Camera:

3. Pagkonekta ng Maramihang CSI-2 Camera sa SoC:

Mga Madalas Itanong (FAQ):

T: Maaari ba akong gumamit ng anumang uri ng camera na may pamilya ng AM6x mga device?

Q: Ano ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P in pagpoproseso ng imahe?

Mga Dokumento / Mga Mapagkukunan

Mga sanggunian

Mag-iwan ng komento

Kanselahin ang tugon

T: Maaari ba akong gumamit ng anumang uri ng camera na may pamilya ng AM6x
mga device?

Q: Ano ang mga pangunahing pagkakaiba sa pagitan ng AM62A at AM62P in
pagpoproseso ng imahe?