Texas Instruments AM6x Idagbasoke Multiple kamẹra olumulo Itọsọna

Awọn kamẹra ti a fi sinu ṣe ipa pataki ninu awọn eto iran ode oni.
Lilo awọn kamẹra pupọ ninu eto kan mu awọn agbara pọ si ati mu ki awọn iṣẹ ṣiṣe ko ṣee ṣe pẹlu kamẹra kan.

Awọn ohun elo Lilo Awọn kamẹra pupọ:

Iboju aabo: Ṣe ilọsiwaju agbegbe iwo-kakiri, ipasẹ ohun, ati deede idanimọ.
Ayika View: Mu iran sitẹrio ṣiṣẹ fun awọn iṣẹ ṣiṣe bii wiwa idiwo ati ifọwọyi nkan.

Agbohunsile agọ ati Eto Digi kamẹra: Pese agbegbe ti o gbooro ati imukuro awọn aaye afọju.
Aworan Iṣoogun: Nfun imudara konge ni lilọ kiri iṣẹ abẹ ati endoscopy.

Drones ati Aworan Aerial: Yaworan awọn aworan ti o ga lati awọn igun oriṣiriṣi fun awọn ohun elo lọpọlọpọ.

Nsopọ Awọn kamẹra CSI-2 pupọ si SoC:
Lati so ọpọ awọn kamẹra CSI-2 pọ si SoC, tẹle awọn itọnisọna ti a pese ninu iwe afọwọkọ olumulo. Rii daju titete to dara ati asopọ kamẹra kọọkan si awọn ebute oko oju omi ti a yan lori SoC.

Akiyesi Ohun elo
Ṣiṣe idagbasoke Awọn ohun elo Kamẹra pupọ lori AM6x

Jianzhong Xu, Qutaiba Saleh

ALÁNṢẸ
Ijabọ yii ṣe apejuwe idagbasoke ohun elo nipa lilo awọn kamẹra CSI-2 pupọ lori idile AM6x ti awọn ẹrọ. Apẹrẹ itọkasi ti wiwa nkan pẹlu ẹkọ ti o jinlẹ lori awọn kamẹra 4 lori AM62A SoC ni a gbekalẹ pẹlu itupalẹ iṣẹ. Awọn ipilẹ gbogbogbo ti apẹrẹ lo si awọn SoC miiran pẹlu wiwo CSI-2, bii AM62x ati AM62P.

Ọrọ Iṣaaju

Awọn kamẹra ti a fi sii ṣe ipa pataki ninu awọn eto iran ode oni. Lilo awọn kamẹra pupọ ninu eto kan faagun awọn agbara ti awọn ọna ṣiṣe ati mu awọn agbara ti ko ṣee ṣe pẹlu kamẹra kan. Isalẹ wa ni diẹ ninu awọn MofiampAwọn ohun elo ti o nlo ọpọlọpọ awọn kamẹra ti a fi sinu:

Iboju aabo: Awọn kamẹra pupọ ti a gbe ni ilana pese agbegbe iwo-kakiri okeerẹ. Wọn mu panoramic ṣiṣẹ views, dinku awọn aaye afọju, ati imudara išedede ti ipasẹ ohun ati idanimọ, imudarasi awọn igbese aabo gbogbogbo.
Ayika View: Awọn kamẹra pupọ ni a lo lati ṣẹda iṣeto iran sitẹrio, ṣiṣe alaye onisẹpo mẹta ati idiyele ti ijinle. Eyi ṣe pataki fun awọn iṣẹ ṣiṣe bii wiwa idiwọ ni awọn ọkọ ayọkẹlẹ adase, ifọwọyi ohun gangan ni awọn ẹrọ-robotik, ati imudara imudara ti awọn iriri otitọ ti a pọ si.

Agbohunsile agọ ati Eto Digi kamẹra: Agbohunsile agọ ọkọ ayọkẹlẹ pẹlu awọn kamẹra pupọ le pese agbegbe diẹ sii nipa lilo ero isise kan. Bakanna, eto digi kamẹra kan pẹlu awọn kamẹra meji tabi diẹ sii le faagun aaye awakọ ti view ati imukuro awọn aaye afọju lati gbogbo awọn ẹgbẹ ti ọkọ ayọkẹlẹ kan.
Aworan Iṣoogun: Awọn kamẹra lọpọlọpọ le ṣee lo ni aworan iṣoogun fun awọn iṣẹ ṣiṣe bii lilọ kiri iṣẹ abẹ, pese awọn oniṣẹ abẹ pẹlu awọn iwoye pupọ fun imudara imudara. Ni endoscopy, awọn kamẹra pupọ jẹ ki idanwo kikun ti awọn ara inu.

Drones ati Aworan Aerial: Drones nigbagbogbo wa ni ipese pẹlu awọn kamẹra pupọ lati mu awọn aworan ti o ga-giga tabi awọn fidio lati awọn igun oriṣiriṣi. Eyi wulo ninu awọn ohun elo bii fọtoyiya eriali, ibojuwo iṣẹ-ogbin, ati iwadi ilẹ.
Pẹlu ilọsiwaju ti microprocessors, awọn kamẹra pupọ le ṣepọ sinu Eto-lori-Chip kan ṣoṣo.
(SoC) lati pese iwapọ ati awọn solusan to munadoko. AM62Ax SoC, pẹlu fidio iṣẹ-giga / sisẹ iran ati isare ẹkọ ti o jinlẹ, jẹ ẹrọ pipe fun awọn ọran lilo ti a mẹnuba loke. Ẹrọ AM6x miiran, AM62P, ni a ṣe fun iṣẹ-giga ti a fi sii awọn ohun elo ifihan 3D. Ni ipese pẹlu isare awọn eya aworan 3D, AM62P le ni irọrun aranpo awọn aworan papọ lati awọn kamẹra pupọ ati gbejade panoramic ti o ga-giga view. Awọn ẹya ara ẹrọ imotuntun ti AM62A / AM62P SoC ti gbekalẹ ni ọpọlọpọ awọn atẹjade, bii [4], [5], [6], ati bẹbẹ lọ Akọsilẹ ohun elo kii yoo tun ṣe awọn apejuwe ẹya yẹn ṣugbọn dipo idojukọ lori sisọpọ ọpọlọpọ awọn kamẹra CSI-2 sinu awọn ohun elo iran ti a fi sinu AM62A/AM62P.

Tabili 1-1 fihan awọn iyatọ akọkọ laarin AM62A ati AM62P niwọn bi sisẹ aworan jẹ.

Table 1-1. Awọn iyatọ Laarin AM62A ati AM62P ni Ṣiṣe Aworan

SoC	AM62A	AM62P
Ni atilẹyin Iru kamẹra	Pẹlu tabi laisi ISP ti a ṣe sinu	Pẹlu ISP ti a ṣe sinu
Data Ijade kamẹra	Aise/YUV/RGB	YUV/RGB
ISP HWA	Bẹẹni	Rara
Ẹkọ ti o jinlẹ HWA	Bẹẹni	Rara
3-D Graphics HWA	Rara	Bẹẹni

Nsopọ Awọn kamẹra CSI-2 pupọ si SoC
Eto inu Kamẹra lori AM6x SoC ni awọn paati atẹle wọnyi, bi o ṣe han ni Nọmba 2-1:

Olugba MIPI D-PHY: gba awọn ṣiṣan fidio lati awọn kamẹra ita, n ṣe atilẹyin to 1.5 Gbps fun ọna data fun awọn ọna 4.

Olugba CSI-2 (RX): gba awọn ṣiṣan fidio lati ọdọ olugba D-PHY ati boya taara firanṣẹ awọn ṣiṣan si ISP tabi da data naa silẹ si iranti DDR. Yi module atilẹyin soke 16 foju awọn ikanni.
SHIM: apẹja DMA kan ti o ṣe iranlọwọ fifiranṣẹ awọn ṣiṣan ti o ya si iranti lori DMA. Ọpọ DMA àrà le ti wa ni da nipa yi wrapper, pẹlu kọọkan ti o tọ bamu si a foju ikanni ti CSI-2 olugba.

Awọn kamẹra lọpọlọpọ le ṣe atilẹyin lori AM6x nipasẹ lilo awọn ikanni foju ti CSI-2 RX, botilẹjẹpe wiwo CSI-2 RX kan wa lori SoC. Ohun paati akojọpọ CSI-2 ita ni a nilo lati darapo awọn ṣiṣan kamẹra pupọ ati firanṣẹ si SoC kan. Awọn iru meji ti CSI-2 aggregating solusan le ṣee lo, ti a sapejuwe ninu awọn wọnyi ruju.

Aggregator CSI-2 Lilo SerDes
Ọna kan ti apapọ awọn ṣiṣan kamẹra pupọ ni lati lo ọna ṣiṣe ati deserializing (SerDes) ojutu. Awọn data CSI-2 lati kamẹra kọọkan jẹ iyipada nipasẹ serializer ati gbigbe nipasẹ okun kan. Awọn deserializer gba gbogbo serialized data ti o ti gbe lati awọn kebulu (ọkan USB fun kamẹra), iyipada awọn ṣiṣan pada si CSI-2 data, ati ki o si rán jade ohun interleaved CSI-2 san si awọn nikan CSI-2 RX ni wiwo lori SoC. ṣiṣan kamẹra kọọkan jẹ idanimọ nipasẹ ikanni foju alailẹgbẹ kan. Ojutu ikojọpọ yii nfunni ni anfani afikun ti gbigba asopọ jijin-gigun ti o to 15m lati awọn kamẹra si SoC.

FPD-Link tabi V3-Link serializers ati deserializers (SerDes), ti o ni atilẹyin ni AM6x Linux SDK, jẹ awọn imọ-ẹrọ olokiki julọ fun iru ojutu apapọ CSI-2 yii. Mejeeji awọn FPD-Link ati V3-Link deserializers ni awọn ikanni ẹhin ti o le ṣee lo lati firanṣẹ awọn ifihan agbara amuṣiṣẹpọ fireemu lati muuṣiṣẹpọ gbogbo awọn kamẹra, bi a ti salaye ninu [7].
olusin 2-2 fihan ohun Mofiample ti lilo awọn SerDes lati so awọn kamẹra pupọ pọ si AM6x SoC kan.

An teleampO le rii ojutu alaropọ yii ni Apo Solusan Kamẹra Arducam V3Link. Ohun elo yii ni ibudo deserializer eyiti o ṣajọpọ awọn ṣiṣan kamẹra 4 CSI-2, bakanna bi awọn orisii 4 ti serializers V3link ati awọn kamẹra IMX219, pẹlu awọn kebulu coaxial FAKRA ati awọn kebulu FPC 22-pin. Apẹrẹ itọkasi ti a jiroro nigbamii jẹ itumọ lori ohun elo yii.

Aggregator CSI-2 laisi Lilo SerDes
Iru aggregator yii le ni wiwo taara pẹlu awọn kamẹra MIPI CSI-2 pupọ ati ṣajọpọ data lati gbogbo awọn kamẹra si ṣiṣan ṣiṣan CSI-2 kan.

olusin 2-3 fihan ohun Mofiample ti iru eto. Iru ojutu iṣakojọpọ yii ko lo eyikeyi serializer/deserializer ṣugbọn o ni opin nipasẹ aaye ti o pọju ti gbigbe data CSI-2, eyiti o to 30cm. AM6x Linux SDK ko ṣe atilẹyin iru alaropọ CSI-2 yii

Muu Awọn kamẹra lọpọlọpọ ṣiṣẹ ni sọfitiwia

Kamẹra Subsystem Software Architecture
olusin 3-1 fihan a ga-ipele Àkọsílẹ aworan atọka ti kamẹra Yaworan eto software ni AM62A/AM62P Linux SDK, bamu si awọn HW eto ni Figure 2-2.

Itumọ sọfitiwia yii jẹ ki SoC gba awọn ṣiṣan kamẹra pupọ pẹlu lilo SerDes, bi o ṣe han ni Nọmba 2-2. FPD-Link/V3-Link SerDes ṣe ipinnu adirẹsi I2C alailẹgbẹ kan ati ikanni foju si kamẹra kọọkan. Ikọja igi ẹrọ alailẹgbẹ yẹ ki o ṣẹda pẹlu adiresi I2C alailẹgbẹ fun gbogbo kamẹra. Awakọ CSI-2 RX mọ kamẹra kọọkan nipa lilo nọmba ikanni foju alailẹgbẹ ati ṣẹda ipo DMA fun ṣiṣan kamẹra. A ṣẹda ipade fidio fun gbogbo ọrọ DMA. Data lati kamẹra kọọkan ti wa ni gbigba ati fipamọ ni lilo DMA si iranti ni ibamu. Awọn ohun elo aaye olumulo lo awọn apa fidio ti o baamu si kamẹra kọọkan lati wọle si data kamẹra. ExampLes ti lilo faaji sọfitiwia yii ni a fun ni Abala 4 - Apẹrẹ Itọkasi.

Eyikeyi awakọ sensọ kan pato ti o ni ibamu pẹlu ilana V4L2 le pulọọgi ati ṣiṣẹ ni faaji yii. Tọkasi [8] nipa bii o ṣe le ṣepọ awakọ sensọ tuntun sinu Linux SDK.

Aworan Pipeline Software Architecture

AM6x Linux SDK n pese ilana GStreamer (GST), eyiti o le ṣee lo ni aaye ser lati ṣepọ awọn paati iṣelọpọ aworan fun awọn ohun elo lọpọlọpọ. Awọn Accelerators Hardware (HWA) lori SoC, gẹgẹbi Vision Pre-processing Accelerator (VPAC) tabi ISP, encoder/decoder fidio, ati ẹrọ iṣiro ikẹkọ jinlẹ, ti wọle nipasẹ GST plugins. VPAC (ISP) funrararẹ ni awọn bulọọki pupọ, pẹlu Iha-ọna Aworan Iwoye (VISS), Atunse Distortion Lens (LDC), ati Multiscalar (MSC), kọọkan ti o baamu si ohun itanna GST kan.
Nọmba 3-2 ṣe afihan aworan atọka idina ti opo gigun ti epo aṣoju lati kamẹra si fifi koodu tabi jin
awọn ohun elo ẹkọ lori AM62A. Fun awọn alaye diẹ sii nipa ṣiṣan data ipari-si-opin, tọka si iwe EdgeAI SDK.

Fun AM62P, opo gigun ti aworan jẹ rọrun nitori ko si ISP lori AM62P.

Pẹlu ipade fidio ti a ṣẹda fun ọkọọkan awọn kamẹra, opo gigun ti aworan ti o da lori GStreamer ngbanilaaye sisẹ awọn igbewọle kamẹra pupọ (ti a ti sopọ nipasẹ wiwo CSI-2 RX kanna) ni nigbakannaa. Apẹrẹ itọkasi nipa lilo GStreamer fun awọn ohun elo kamẹra pupọ ni a fun ni ori ti nbọ.

Apẹrẹ itọkasi

Ipin yii ṣe afihan apẹrẹ itọkasi ti ṣiṣe awọn ohun elo kamẹra pupọ lori AM62A EVM, lilo Arducam V3Link Camera Solution Kit lati so awọn kamẹra 4 CSI-2 pọ si AM62A ati wiwa ohun elo fun gbogbo awọn kamẹra 4.

Awọn kamẹra atilẹyin
Ohun elo Arducam V3Link ṣiṣẹ pẹlu awọn kamẹra FPD-Link/V3-Link mejeeji ati awọn kamẹra CSI-2 Rasipibẹri Pi-ibaramu. Awọn kamẹra wọnyi ti ni idanwo:

D3 Engineering D3RCM-IMX390-953
Amotekun Aworan LI-OV2312-FPDLINKIII-110H
Awọn kamẹra IMX219 ninu Ohun elo Solusan Kamẹra Arducam V3Link

Ṣiṣeto Awọn kamẹra IMX219 mẹrin
Tẹle awọn itọnisọna ti a pese ni AM62A Starter Kit EVM Itọsọna Ibẹrẹ kiakia lati ṣeto SK-AM62A-LP EVM (AM62A SK) ati ArduCam V3Link Kamẹra Solusan Itọsọna Ibẹrẹ kiakia lati so awọn kamẹra pọ si AM62A SK nipasẹ ohun elo V3Link. Rii daju pe awọn pinni lori awọn kebulu Flex, awọn kamẹra, igbimọ V3Link, ati AM62A SK ti wa ni ibamu daradara.

Nọmba 4-1 fihan iṣeto ti a lo fun apẹrẹ itọkasi ninu ijabọ yii. Awọn paati akọkọ ninu iṣeto pẹlu:

1X SK-AM62A-LP EVM ọkọ
1X Arducam V3Link d-ch ohun ti nmu badọgba ọkọ
FPC okun asopọ Arducam V3Link si SK-AM62A
Awọn oluyipada kamẹra 4X V3Link (awọn oluyipada)
Awọn kebulu coaxial 4X RF lati so awọn serializers V3Link pọ si ohun elo V3Link d-ch
4X IMX219 Awọn kamẹra
4X CSI-2 22-pin kebulu lati so awọn kamẹra si awọn serializers
Awọn okun: okun HDMI, USB-C si agbara SK-AM62A-LP ati orisun agbara 12V fun ohun elo V3Link d-ch)
Awọn paati miiran ko han ni Nọmba 4-1: kaadi micro-SD, okun USB micro-USB lati wọle si SK-AM62A-LP, ati Ethernet fun ṣiṣanwọle

Tito leto Awọn kamẹra ati CSI-2 RX Interface
Ṣeto sọfitiwia naa ni ibamu si awọn ilana ti a pese ni Arducam V3Link Itọsọna Ibẹrẹ Yara. Lẹhin ṣiṣe iwe afọwọkọ iṣeto kamẹra, setup-imx219.sh, ọna kika kamẹra, ọna kika wiwo CSI-2 RX, ati awọn ipa-ọna lati kamẹra kọọkan si ipade fidio ti o baamu yoo jẹ tunto daradara. Awọn apa fidio mẹrin ni a ṣẹda fun awọn kamẹra IMX219 mẹrin naa. Aṣẹ “v4l2-ctl –list-Devices” ṣe afihan gbogbo awọn ẹrọ fidio V4L2, bi a ṣe han ni isalẹ:

Awọn apa fidio 6 wa ati ipade media 1 labẹ tiscsi2rx. Ipin fidio kọọkan ni ibamu si ipo DMA ti a pin nipasẹ awakọ CSI2 RX. Ninu awọn apa fidio 6, 4 ni a lo fun awọn kamẹra 4 IMX219, bi o ṣe han ninu topology pipe media ni isalẹ:

Gẹgẹbi a ti han loke, ohun elo media 30102000.ticsi2rx ni awọn paadi orisun 6, ṣugbọn 4 akọkọ nikan ni a lo, ọkọọkan fun IMX219 kan. Topology paipu media tun le ṣe afihan ni ayaworan. Ṣiṣe aṣẹ atẹle lati ṣe ina aami kan file:

Lẹhinna ṣiṣe aṣẹ ti o wa ni isalẹ lori PC ogun Linux lati ṣe ipilẹṣẹ PNG kan file:

Nọmba 4-2 jẹ aworan ti ipilẹṣẹ nipa lilo awọn aṣẹ ti a fun loke. Awọn paati ti o wa ninu faaji sọfitiwia ti Nọmba 3-1 ni a le rii ni aworan yii.

Sisanwọle lati Awọn kamẹra Mẹrin
Pẹlu ohun elo mejeeji ati sọfitiwia ti ṣeto daradara, awọn ohun elo kamẹra pupọ le ṣiṣẹ lati aaye olumulo. Fun AM62A, ISP gbọdọ wa ni aifwy lati ṣe agbejade didara aworan to dara. Tọkasi Itọsọna Tuning AM6xA ISP fun bi o ṣe le ṣe atunṣe ISP. Awọn wọnyi ruju bayi examples ti ṣiṣan data kamẹra si ifihan, ṣiṣan data kamẹra si nẹtiwọọki kan, ati fifipamọ data kamẹra si files.

Data Kamẹra ṣiṣanwọle si Ifihan
Ohun elo ipilẹ ti eto kamẹra pupọ ni lati san awọn fidio lati gbogbo awọn kamẹra si ifihan ti o sopọ si SoC kanna. Awọn atẹle jẹ opo gigun ti epo GStreamerample ti ṣiṣan IMX219 mẹrin si ifihan (awọn nọmba node fidio ati awọn nọmba v4l-subdev ninu opo gigun ti epo yoo ṣee yipada lati atunbere si atunbere).

Sisanwọle Kamẹra Data nipasẹ àjọlò
Dipo ṣiṣanwọle si ifihan ti a ti sopọ si SoC kanna, data kamẹra le tun ṣe ṣiṣan nipasẹ Ethernet. Ẹgbẹ gbigba le jẹ boya ero isise AM62A/AM62P miiran tabi PC agbalejo. Awọn atẹle jẹ ẹya example ti ṣiṣan data kamẹra nipasẹ Ethernet (lilo awọn kamẹra meji fun ayedero) (ṣe akiyesi ohun itanna encoder ti a lo ninu opo gigun ti epo):

Awọn atẹle jẹ ẹya example ti gbigba data kamẹra ati ṣiṣanwọle si ifihan lori ero isise AM62A/AM62P miiran:

Nfi data kamẹra pamọ si Files
Dipo ṣiṣanwọle si ifihan tabi nipasẹ nẹtiwọki kan, data kamẹra le wa ni ipamọ ni agbegbe files. Opo gigun ti o wa ni isalẹ tọju data kamẹra kọọkan si a file (lilo awọn kamẹra meji bi example fun ayedero).

Multicamera Jin Learning Inference

AM62A ti ni ipese pẹlu imuyara ẹkọ ti o jinlẹ (C7x-MMA) pẹlu to TOPS meji, eyiti o lagbara lati ṣiṣẹ awọn oriṣi awọn awoṣe ikẹkọ jinlẹ fun isọdi, wiwa ohun, ipin atunmọ, ati diẹ sii. Abala yii fihan bi AM62A ṣe le ṣiṣẹ awọn awoṣe ikẹkọ jinlẹ mẹrin ni nigbakannaa lori awọn kikọ sii kamẹra mẹrin ti o yatọ.

Aṣayan awoṣe
TI's EdgeAI-ModelZoo n pese awọn ọgọọgọrun ti awọn awoṣe-ti-ti-aworan, eyiti o jẹ iyipada/ti a gbejade lati awọn ilana ikẹkọ atilẹba wọn si ọna kika ore-ọfẹ ki wọn le gbejade si imuyara ikẹkọ jinlẹ C7x-MMA. Oluyanju Awoṣe Awoṣe Studio Edge AI ti o da lori awọsanma n pese ohun elo “Aṣayan Awoṣe” rọrun-lati-lo. O ti ni imudojuiwọn ni agbara lati pẹlu gbogbo awọn awoṣe ti o ni atilẹyin ni TI EdgeAI-ModelZoo. Ọpa naa ko nilo iriri iṣaaju ati pese wiwo irọrun-lati-lo lati tẹ awọn ẹya ti o nilo ninu awoṣe ti o fẹ.

TFL-OD-2000-ssd-mobV1-coco-mlperf ni a yan fun idanwo ikẹkọ jinlẹ pupọ-kamẹra yii. Awoṣe wiwa ohun-pupọ yii jẹ idagbasoke ni ilana TensorFlow pẹlu ipinnu titẹ sii 300 × 300 kan. Tabili 4-1 ṣe afihan awọn ẹya pataki ti awoṣe yii nigba ikẹkọ lori dataset cCOCO pẹlu bii awọn kilasi oriṣiriṣi 80.

Table 4-1. Ṣe afihan Awọn ẹya ara ẹrọ ti Awoṣe TFL-OD-2000-ssd-mobV1-coco-mlperf.

Awoṣe	Iṣẹ-ṣiṣe	Ipinnu	FPS	mAP 50% Yiye Lori COCO	Lairi/Fireemu (ms)	DDR BW Lilo (MB/Freemu)
TFL-OD-2000-ssd- mobV1-koko-mlperf	Iwari Ohun Nkan pupọ	300×300	~152	15.9	6.5	18.839

Pipeline Oṣo
Nọmba 4-3 ṣe afihan opo gigun ti epo GStreamer 4-kamẹra. TI pese suite kan ti GStreamer plugins ti o gba laaye piparẹ diẹ ninu sisẹ media ati itọkasi ikẹkọ jinlẹ si awọn ohun elo accelerators. Diẹ ninu awọn examples ti awọn wọnyi plugins pẹlu tiovxisp, tiovxmultiscaler, tiovxmosaic, ati tidlinferer. Opo gigun ti epo ni Nọmba 4-3 pẹlu gbogbo ohun ti a beere plugins fun opo gigun ti epo GStreamer pupọ fun awọn igbewọle kamẹra 4, ọkọọkan pẹlu ilana iṣaaju media, itọkasi ikẹkọ jinlẹ, ati ilana lẹhin. Awọn pidánpidán plugins fun kọọkan awọn ọna kamẹra ti wa ni tolera ni awonya fun rọrun ifihan.
Awọn orisun ohun elo ti o wa ni a pin boṣeyẹ laarin awọn ọna kamẹra mẹrin. Fun apẹẹrẹ, AM62A ni awọn onisọpọ aworan meji: MSC0 ati MSC1. Opo opo gigun ti epo naa yasọtọ MSC0 lati ṣe ilana kamẹra 1 ati awọn ọna kamẹra 2, lakoko ti MSC1 ṣe iyasọtọ si kamẹra 3 ati kamẹra 4.

Ijade ti awọn paipu kamẹra mẹrin jẹ iwọn si isalẹ ati pe o papọ ni lilo ohun itanna tiovxmosaic. Ijade naa yoo han loju iboju kan. Nọmba 4-4 ṣe afihan abajade ti awọn kamẹra mẹrin pẹlu awoṣe ẹkọ ti o jinlẹ ti nṣiṣẹ wiwa ohun. Pipeline kọọkan (kamẹra) nṣiṣẹ ni 30 FPS ati apapọ 120 FPS.

Nigbamii ni iwe afọwọkọ opo gigun ti kikun fun ọran lilo ikẹkọ jinlẹ pupọ kamẹra ti o han ni Nọmba 4-3.

Performance Analysis

Iṣeto pẹlu awọn kamẹra mẹrin nipa lilo igbimọ V3Link ati AM62A SK ni idanwo ni ọpọlọpọ awọn oju iṣẹlẹ ohun elo, pẹlu ifihan taara loju iboju, ṣiṣanwọle lori Ethernet (awọn ikanni UDP mẹrin), gbigbasilẹ si 4 lọtọ. files, ati pẹlu itọka ẹkọ ti o jinlẹ. Ninu idanwo kọọkan, a ṣe abojuto oṣuwọn fireemu ati lilo awọn ohun kohun Sipiyu lati ṣawari gbogbo awọn agbara eto naa.

Gẹgẹbi a ti han tẹlẹ ni Nọmba 4-4, opo gigun ti ẹkọ ti o jinlẹ nlo ohun itanna tiperfoverlay GStreamer lati ṣafihan awọn ẹru mojuto Sipiyu bi ayaworan igi ni isalẹ iboju naa. Nipa aiyipada, aworan naa ti ni imudojuiwọn ni gbogbo iṣẹju-aaya meji lati ṣafihan awọn ẹru bi ogorun lilotage. Ni afikun si ohun itanna tiperfoverlay GStreamer, ohun elo perf_stats jẹ aṣayan keji lati ṣafihan iṣẹ mojuto taara lori ebute pẹlu aṣayan fun fifipamọ si file. Ọpa yii jẹ deede diẹ sii ni akawe si tTiperfoverlayas igbehin n ṣe afikun fifuye afikun lori awọn ohun kohun theARMm ati DDR lati fa iyaya naa ki o si bò o loju iboju. Ohun elo perf_stats jẹ lilo akọkọ lati gba awọn abajade lilo ohun elo ni gbogbo awọn ọran idanwo ti o han ninu iwe yii. Diẹ ninu awọn ohun kohun sisẹ pataki ati awọn accelerators ti a ṣe iwadi ninu awọn idanwo wọnyi pẹlu awọn olupilẹṣẹ akọkọ (awọn ohun kohun A53 Arm mẹrin @ 1.25GHz), imuyara ikẹkọ jinlẹ (C7x-MMA @ 850MHz), VPAC (ISP) pẹlu VISS ati multiscalers (MSC0 ati MSC1), ati awọn iṣẹ DDR.

Tabili 5-1 fihan iṣẹ ati lilo awọn orisun nigba lilo AM62A pẹlu awọn kamẹra mẹrin fun awọn ọran lilo mẹta, pẹlu ṣiṣan awọn kamẹra mẹrin si ifihan, ṣiṣan lori Ethernet, ati gbigbasilẹ si mẹrin lọtọ. files. Awọn idanwo meji ni imuse ni ọran lilo kọọkan: pẹlu kamẹra nikan ati pẹlu itọka ikẹkọ jinlẹ. Ni afikun, ila akọkọ ni Tabili 5-1 fihan awọn lilo ohun elo nigbati ẹrọ iṣẹ nikan nṣiṣẹ lori AM62A laisi awọn ohun elo olumulo eyikeyi. Eyi ni a lo bi ipilẹ-ipilẹ lati ṣe afiwe si nigbati o ṣe iṣiro awọn iṣamulo ohun elo ti awọn ọran idanwo miiran. Gẹgẹbi a ṣe han ninu tabili, awọn kamẹra mẹrin pẹlu ẹkọ ti o jinlẹ ati ifihan iboju ti o ṣiṣẹ ni 30 FPS kọọkan, pẹlu apapọ 120 FPS fun awọn kamẹra mẹrin. Iwọn fireemu giga yii jẹ aṣeyọri pẹlu 86% nikan ti imuyara ikẹkọ jinlẹ (C7x-MMA) agbara ni kikun. Ni afikun, o ṣe pataki lati ṣe akiyesi pe imuyara ẹkọ ti o jinlẹ ni aago ni 850MHz dipo 1000MHz ninu awọn adanwo wọnyi, eyiti o jẹ nipa 85% nikan ti iṣẹ ṣiṣe ti o pọju.

Table 5-1. Iṣe (FPS) ati Lilo Awọn orisun AM62A nigba lilo pẹlu Awọn kamẹra 4 IMX219 fun Ifihan iboju, ṣiṣan Ethernet, Gba silẹ si Files, ati Ṣiṣe Itọkasi Ẹkọ Jin

Ohun elo n	Pipeline (isẹ )	Abajade	FPS apapọ opo gigun ti epo s	FPS lapapọ	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Lapapọ [MB/s]
Ko si App	Ipilẹ Ko si isẹ	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamẹra nikan	ṣiṣanwọle si Iboju	Iboju	30	120	12	12	0	70	61	60	1015	757	1782
	Sisanwọle lori Ethernet	UDP: 4 awọn ibudo 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Gba silẹ si files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Kamẹra pẹlu Jin ẹkọ	Ẹkọ ti o jinlẹ: Awari ohun MobV1- koko	Iboju	30	120	38	25	86	71	85	82	2926	1676	4602
	Ẹkọ ti o jinlẹ: Wiwa nkan MobV1- koko ati ṣiṣan lori Ethernet	UDP: 4 awọn ibudo 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Ẹkọ ti o jinlẹ: Iwari ohun MobV1- koko ati igbasilẹ si files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Lakotan
Ijabọ ohun elo yii ṣe apejuwe bi o ṣe le ṣe awọn ohun elo kamẹra pupọ lori idile AM6x ti awọn ẹrọ. Apẹrẹ itọkasi ti o da lori Apo Solusan Kamẹra V3Link ti Arducam ati AM62A SK EVM ti pese ninu ijabọ naa, pẹlu ọpọlọpọ awọn ohun elo kamẹra nipa lilo awọn kamẹra IMX219 mẹrin, gẹgẹbi ṣiṣanwọle ati wiwa ohun. A gba awọn olumulo ni iyanju lati gba Apo Solusan Kamẹra V3Link lati ọdọ Arducam ki o tun ṣe iru iṣaaju wọnyiamples. Ijabọ naa tun pese itupalẹ alaye ti iṣẹ AM62A lakoko lilo awọn kamẹra mẹrin labẹ ọpọlọpọ awọn atunto, pẹlu ifihan si iboju kan, ṣiṣanwọle lori Ethernet, ati gbigbasilẹ si files. O tun fihan AM62A'sA agbara ti ṣiṣe itọkasi ikẹkọ jinlẹ lori awọn ṣiṣan kamẹra lọtọ mẹrin ni afiwe. Ti o ba ti nibẹ ni o wa eyikeyi ibeere nipa nṣiṣẹ wọnyi Mofiamples, fi ohun ibeere ni TI E2E forum.

Awọn itọkasi

AM62A Starter Apo EVM Quick Bẹrẹ Itọsọna
Solusan Kamẹra ArduCam V3Link Itọsọna Ibẹrẹ kiakia
Edge AI SDK iwe fun AM62A
Awọn Kamẹra Smart Edge AI Lilo Agbara-Ṣiṣe AM62A Processor
Awọn ọna Digi kamẹra lori AM62A
Awakọ ati Awọn ọna Abojuto Ibugbe lori AM62A
Ohun elo Kamẹra ikanni Quad fun Yika View ati CMS kamẹra Systems
AM62Ax Linux Academy lori Muu ṣiṣẹ Sensọ CIS-2
Eti AI ModelZoo
Edge AI Studio
Perf_stats ọpa

Awọn apakan TI Tọkasi ninu Akọsilẹ Ohun elo yii:

AKIYESI PATAKI ATI ALAYE

TI n pese data imọ-ẹrọ ati igbẹkẹle (pẹlu awọn iwe data), Awọn orisun apẹrẹ (pẹlu awọn apẹrẹ itọkasi), Ohun elo tabi imọran apẹrẹ miiran, WEB Awọn irinṣẹ, ALAYE Aabo, Ati awọn orisun miiran “BI o ti ri” ATI PẸLU GBOGBO AWỌN AṢẸ, ATI PẸLU GBOGBO awọn ATILẸYIN ỌJA, KIAKIA ATI ITOJU, PẸLU LAISI OPIN KANKAN ATILẸYIN ỌJA TI ỌLỌJA, AGBARA FUN AGBẸRẸ. .

Awọn orisun wọnyi jẹ ipinnu fun awọn olupolowo ti oye ti n ṣe apẹrẹ pẹlu awọn ọja TI. Ti o ba wa daada lodidi fun

yiyan awọn ọja TI ti o yẹ fun ohun elo rẹ,
nse, afọwọsi, ati idanwo ohun elo rẹ, ati
aridaju ohun elo rẹ ni ibamu pẹlu awọn iṣedede iwulo, ati aabo eyikeyi miiran, aabo, ilana, tabi awọn ibeere miiran.

Awọn orisun wọnyi jẹ koko ọrọ si iyipada laisi akiyesi. TI gba ọ laaye lati lo awọn orisun wọnyi nikan fun idagbasoke ohun elo ti o nlo awọn ọja TI ti a ṣalaye ninu awọn orisun. Atunse miiran ati ifihan awọn orisun wọnyi jẹ eewọ. Ko si iwe-aṣẹ ti a fun ni eyikeyi ẹtọ ohun-ini imọ-ọgbọn TI miiran tabi si eyikeyi ẹtọ ohun-ini ọgbọn ti ẹnikẹta. TI ko ni ẹtọ fun, ati pe iwọ yoo jẹri fun TI ni kikun ati awọn aṣoju rẹ lodi si, eyikeyi awọn ẹtọ, awọn bibajẹ, awọn idiyele, awọn adanu, ati awọn gbese ti o dide nipa lilo awọn orisun wọnyi.

Awọn ọja TI ti pese labẹ Awọn ofin Tita ti TI tabi awọn ofin to wulo miiran ti o wa boya lori ti.com tabi pese ni apapo pẹlu iru awọn ọja TI. Ipese TI ti awọn orisun wọnyi ko faagun tabi bibẹẹkọ paarọ awọn iṣeduro iwulo TI tabi awọn idawọle atilẹyin ọja fun awọn ọja TI.

TI ṣe ohun si ati kọ eyikeyi afikun tabi awọn ofin oriṣiriṣi ti o le ti daba.

AKIYESI PATAKI

Adirẹsi Ifiweranṣẹ: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Awọn ibeere Nigbagbogbo

Q: Ṣe MO le lo iru kamẹra eyikeyi pẹlu idile AM6x ti awọn ẹrọ?

Idile AM6x ṣe atilẹyin awọn oriṣi kamẹra oriṣiriṣi, pẹlu awọn ti o ni tabi laisi ISP ti a ṣe sinu. Tọkasi awọn pato fun awọn alaye diẹ sii lori awọn iru kamẹra ti o ni atilẹyin.

: Kini awọn iyatọ akọkọ laarin AM62A ati AM62P ni ṣiṣe aworan?

Awọn iyatọ bọtini pẹlu awọn iru kamẹra ti o ni atilẹyin, data iṣelọpọ kamẹra, niwaju ISP HWA, Ẹkọ Jin HWA, ati 3-D Graphics HWA. Tọkasi apakan ni pato fun lafiwe alaye.

Awọn iwe aṣẹ / Awọn orisun

Texas Instruments AM6x Idagbasoke Multiple Kamẹra [pdf] Itọsọna olumulo
AM62A, AM62P, AM6x Idagbasoke Kamẹra Ọpọ, AM6x, Idagbasoke Kamẹra Ọpọ, Kamẹra Ọpọ, Kamẹra

Awọn itọkasi

Itọsọna olumulo

Texas Instruments AM6x Idagbasoke Multiple Kamẹra

Awọn pato