Texas Instruments AM6x олон камерын хэрэглэгчийн гарын авлага

Оруулсан камер нь орчин үеийн харааны системд чухал үүрэг гүйцэтгэдэг.
Системд олон камер ашиглах нь чадавхийг сайжруулж, сайжруулдаг
нэг камераар гүйцэтгэх боломжгүй ажлуудыг идэвхжүүлдэг.

2. Олон камер ашигладаг програмууд:

Аюулгүй байдлын тандалт: Хяналтыг сайжруулна
хамрах хүрээ, объектыг хянах, таних нарийвчлал.

Хүрээлэн View: Даалгаврын стерео харааг идэвхжүүлдэг
саад тотгорыг илрүүлэх, объектыг удирдах гэх мэт.
Бүхээгийн бичигч ба камерын толин тусгал систем:
Хамрах хүрээг уртасгаж, хар толбыг арилгана.

Эмнэлгийн дүрслэл: Сайжруулсан нарийвчлалыг санал болгодог
мэс заслын навигаци ба дурангийн шинжилгээ.
Дрон ба агаарын дүрслэл: Баривчлах
янз бүрийн өнцгөөс өндөр нарийвчлалтай зургууд
програмууд.

3. Олон CSI-2 камерыг SoC-д холбох:

Олон CSI-2 камерыг SoC-д холбохын тулд дараахыг дагана уу
хэрэглэгчийн гарын авлагад заасан удирдамж. Тохиромжтой уялдуулах ба
камер бүрийг SoC дээрх зориулалтын портуудтай холбох.

Түгээмэл асуултууд (FAQ):

Асуулт: Би AM6x гэр бүлтэй ямар ч төрлийн камер ашиглаж болох уу?
төхөөрөмжүүд?

Х: AM6x гэр бүл нь янз бүрийн төрлийн камеруудыг дэмждэг
суулгасан ISP-тэй эсвэл байхгүй. техникийн үзүүлэлтүүдийг харна уу
дэмжигдсэн камерын төрлүүдийн талаар дэлгэрэнгүй мэдээлэл.

А: AM62A болон AM62P хоёрын гол ялгаа нь юу вэ?
зураг боловсруулах?

Х: Гол хувилбаруудад дэмжигдсэн камерын төрлүүд, камер орно
гаралтын өгөгдөл, ISP HWA, Deep Learning HWA болон 3-D байгаа эсэх
График HWA. Нарийвчилсан мэдээллийг техникийн үзүүлэлтийн хэсгээс үзнэ үү
харьцуулалт.

“`

View Fullscreen

www.ti.com

Агуулга

Хэрэглээний тэмдэглэл

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Жианжун Сю, Кутайба Салех
ХИЙСЭН БАЙДАЛ
Энэхүү тайланд AM2x гэр бүлийн төхөөрөмжүүд дээр олон CSI-6 камер ашиглан програм хөгжүүлэлтийг тайлбарласан болно. AM4A SoC дээрх 62 камер дээр гүнзгий суралцах боломжтой объект илрүүлэх лавлах загварыг гүйцэтгэлийн шинжилгээний хамт толилуулж байна. Загварын ерөнхий зарчим нь AM2x, AM62P зэрэг CSI-62 интерфейстэй бусад SoC-д хамаарна.
Агуулга
1 Танилцуулга……………………………………………………………………………………………………………………………………………………………………………………………………………..2 2 Олон CSI-2 камерыг сүлжээнд холбох SoC……………………………………………………………………………………………………… 3
2.1 SerDes ашигласан CSI-2 агрегатор……………………………………………………………………………………………………………………… 3 2.2 SerDes ашиглахгүйгээр CSI-2 агрегатор…………………………………………………………………………………………………………………………………………….4 3 Олон камерыг идэвхжүүлэх Програм хангамж……………………………………………………………………………………………………………………………………………………………………..5 3.1 Камерын дэд системийн програм хангамжийн бүтэц……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………. Architecture……………………………………………………………………………………………………………….. 5 3.2 Reference Design………………………………………………………………………………………………………………………………………………. 5 4 Дэмжигдсэн камер…………………………………………………………………………………………………………………………………………………………………………………….. 7 4.1 Дөрвөн IMX7 тохируулах Cameras……………………………………………………………………………………………………………………..4.2 219 Configuring Cameras and CSI-7 RX Interface……………………………………………………………………………………………………. 4.3 2 Дөрвөн камераас дамжуулах…………………………………………………………………………………………………………………………………………………………………..8 4.4 Олон камерын гүнзгий сургалт Дүгнэлт………………………………………………………………………………………………………………………………………………………………….. 10 4.5 Гүйцэтгэлийн шинжилгээ…………………………………………………………………………………………………………………………………………………. 12 5 Дүгнэлт……………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………. 16 6 Ашигласан материал………………………………………………………………………………………………………………………………………………………………. 18
Барааны тэмдэг
Бүх барааны тэмдэг нь тус тусын эздийнхээ өмч юм.

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Танилцуулга

www.ti.com

1 Танилцуулга

Оруулсан камер нь орчин үеийн харааны системд чухал үүрэг гүйцэтгэдэг. Нэг системд олон камер ашиглах нь эдгээр системийн чадавхийг өргөжүүлж, нэг камертай байх боломжгүй боломжуудыг идэвхжүүлдэг. Доор зарим нь хуучин байнаampОлон суулгагдсан камер ашигладаг програмуудын зарим нь:

Аюулгүй байдлын тандалт: Стратегийн хувьд байрлуулсан олон камер нь тандалтын иж бүрэн хамрах хүрээг хангадаг. Тэд панорама харах боломжтой views, сохор толбыг багасгаж, объектыг хянах, таних нарийвчлалыг нэмэгдүүлэх,
аюулгүй байдлын ерөнхий арга хэмжээг сайжруулах.

Хүрээлэн View: Гурван хэмжээст мэдээлэл болон гүнийг тооцоолох боломжийг олгодог стерео харааны тохиргоог бий болгохын тулд олон камер ашигладаг. Энэ нь бие даасан байдалд саад тотгор илрүүлэх зэрэг ажлуудад маш чухал юм
тээврийн хэрэгсэл, робот техник дэх объектын нарийн зохицуулалт, нэмэгдсэн бодит байдлын туршлагын сайжруулсан бодит байдал.

Бүхээгний бичлэг ба камерын толин тусгалын систем: Олон камер бүхий машины бүхээгийн бичигч нь нэг процессор ашиглан илүү их хамрах хүрээг хангах боломжтой. Үүний нэгэн адил хоёр буюу түүнээс дээш камер бүхий камерын толин тусгалын систем нь өргөтгөл хийх боломжтой
жолоочийн талбар view мөн машины бүх талаас сохор толбыг арилгах.

Эмнэлгийн дүрслэл: Олон камерыг мэс заслын навигаци гэх мэт ажлуудад эмнэлгийн дүрслэлд ашиглаж, мэс засалчдад илүү нарийвчлалтай болгохын тулд олон өнцгөөс харах боломжтой. Дурангийн шинжилгээнд олон камер нь нарийн шинжилгээ хийх боломжийг олгодог
дотоод эрхтний үзлэг.

Дрон ба агаарын дүрслэл: Дронууд нь ихэвчлэн янз бүрийн өнцгөөс өндөр нарийвчлалтай зураг эсвэл видео авахын тулд олон камертай байдаг. Энэ нь агаарын гэрэл зураг, хөдөө аж ахуй зэрэг хэрэглээнд хэрэгтэй
хяналт-шинжилгээ, газрын хэмжилт.

Микропроцессорын дэвшлийн ачаар олон камерыг нэг чип дээрх системд (SoC) нэгтгэж авсаархан, үр ашигтай шийдлүүдийг гаргаж чадна. AM62Ax SoC нь өндөр хүчин чадалтай видео/харааны боловсруулалт, гүнзгий суралцах хурдатгалтай бөгөөд дээр дурдсан хэрэглээний тохиолдлуудад тохиромжтой төхөөрөмж юм. Өөр нэг AM6x төхөөрөмж болох AM62P нь өндөр хүчин чадалтай суулгагдсан 3D дэлгэцийн хэрэглээнд зориулагдсан. 3D график хурдасгуураар тоноглогдсон AM62P нь олон камерын зургийг хялбархан хооронд нь холбож, өндөр нарийвчлалтай панорама зураг үүсгэх боломжтой. view. AM62A/AM62P SoC-ийн шинэлэг шинж чанаруудыг [4], [5], [6] гэх мэт янз бүрийн хэвлэлд танилцуулсан. Энэхүү хэрэглээний тэмдэглэл нь эдгээр функцуудын тайлбарыг давтахгүй, харин олон CSI-2 камерыг AM62A/AM62P дээр суулгагдсан харааны программд нэгтгэхэд анхаарлаа хандуулдаг.

Хүснэгт 1-1 нь зураг боловсруулахтай холбоотой AM62A ба AM62P-ийн үндсэн ялгааг харуулав.

Хүснэгт 1-1. Зураг боловсруулах AM62A ба AM62P-ийн ялгаа

SoC

AM62A

AM62P

Дэмжигдсэн камерын төрөл

Суурилагдсан ISP-тэй эсвэл байхгүй

Суурилагдсан ISP-тэй

Камерын гаралтын өгөгдөл

Түүхий/YUV/RGB

YUV/RGB

ISP HWA

Тиймээ

Үгүй

Гүнзгий суралцах HWA

Тиймээ

Үгүй

3-D график HWA

Үгүй

Тиймээ

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Олон CSI-2 камерыг SoC-д холбох

2 Олон CSI-2 камерыг SoC-д холбох
AM6x SoC дээрх Камерын дэд систем нь Зураг 2-1-д үзүүлсэн шиг дараах бүрэлдэхүүн хэсгүүдийг агуулна.
· MIPI D-PHY хүлээн авагч: 1.5 эгнээний өгөгдлийн эгнээ бүрт 4 Gbps хүртэл хурдыг дэмждэг гадаад камераас видео урсгалыг хүлээн авдаг.
· CSI-2 хүлээн авагч (RX): D-PHY хүлээн авагчаас видео урсгалыг хүлээн авч, дамжуулалтыг ISP руу шууд илгээдэг эсвэл өгөгдлийг DDR санах ой руу шилжүүлдэг. Энэ модуль нь 16 хүртэлх виртуал сувгийг дэмждэг.
· SHIM: авсан дамжуулалтыг санах ой руу DMA-аар илгээх боломжийг олгодог DMA боодол. Энэ боодолоор олон DMA контекстийг үүсгэж болох ба контекст бүр нь CSI-2 хүлээн авагчийн виртуал сувагтай тохирч байна.

Өгөгдлийн эгнээ 0

ISP

MIPI

Өгөгдлийн эгнээ 1

CSI2 RX

D-PHY

Өгөгдлийн эгнээ 2

Хүлээн авагч

Өгөгдлийн эгнээ 3

Цагийн эгнээ

ШИМ

DDR санах ой

AM62A/AM62P SoC камерын дэд системийн модулиуд

Зураг 2-1. AM62A/AM62P SoC дээрх камерын дэд системийн өндөр түвшний блок диаграмм
SoC дээр зөвхөн нэг CSI-6 RX интерфэйс байгаа ч CSI-2 RX-ийн виртуал сувгуудыг ашиглан AM2x дээр олон камерыг дэмжих боломжтой. Олон камерын урсгалыг нэгтгэж, нэг SoC руу илгээхэд CSI-2 гадаад нэгтгэх бүрэлдэхүүн хэсэг шаардлагатай. Дараах хэсэгт тайлбарласан CSI-2 нэгтгэх хоёр төрлийн шийдлийг ашиглаж болно.
2.1 SerDes ашиглан CSI-2 агрегатор
Олон камерын урсгалыг нэгтгэх нэг арга бол цуваа болон цуваа арилгах (SerDes) шийдлийг ашиглах явдал юм. Камер бүрийн CSI-2 өгөгдлийг цуваажуулагчаар хөрвүүлж, кабелиар дамжуулдаг. Цуваа арилгагч нь кабелиас дамжуулсан бүх цуваа өгөгдлийг (камер бүрт нэг кабель) хүлээн авч, дамжуулалтыг CSI-2 өгөгдөл болгон хувиргаж, дараа нь CSI-2 дамжуулалтыг SoC дээрх ганц CSI-2 RX интерфэйс рүү илгээдэг. Камерын урсгал бүр нь өвөрмөц виртуал сувгаар тодорхойлогддог. Энэхүү нэгтгэх шийдэл нь камеруудаас SoC-тай 15м хүртэлх зайд холбогдох нэмэлт давуу талыг санал болгодог.
AM3x Linux SDK-д дэмжигдсэн FPD-Link эсвэл V6-Link цуваажуулагч болон цуваа арилгагч (SerDes) нь энэ төрлийн CSI-2 нэгтгэх шийдлийн хамгийн алдартай технологи юм. [3]-д тайлбарласны дагуу FPD-Link болон V7-Link цуваа арилгагч нь бүх камерыг синхрончлохын тулд фрэймийн синхрончлолын дохиог илгээхэд ашиглаж болох арын сувагтай.
Зураг 2-2-д эксийг харуулавampОлон камерыг нэг AM6x SoC-д холбохын тулд SerDes-ийг ашиглах.

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Олон CSI-2 камерыг SoC-д холбох

Камер

Цуваажуулагч

Deserializer Hub

www.ti.com

Камер Камер

Serializer Serializer

CSI-2 Tx

CSI-2 Rx

AM62A/ AM62P
SoC

Камер

Цуваажуулагч

Зураг 2-2. SerDes ашиглан олон камер холбох

ХуучинampЭнэхүү нэгтгэх шийдлийг Arducam V3Link камерын шийдлийн багцаас олж болно. Энэхүү иж бүрдэл нь 4 CSI-2 камерын урсгал, түүнчлэн FAKRA коаксиаль кабель, 4 зүү FPC кабель зэрэг 3 хос V219link цуваажуулагч, IMX22 камертай. Дараа нь авч үзэх лавлагаа загварыг энэ хэрэгсэл дээр бүтээсэн болно.
2.2 SerDes ашиглахгүйгээр CSI-2 агрегатор
Энэ төрлийн агрегатор нь олон MIPI CSI-2 камертай шууд холбогдож, бүх камерын өгөгдлийг нэг CSI-2 гаралтын урсгалд нэгтгэх боломжтой.
Зураг 2-3-д эксийг харуулавampийм системтэй. Энэ төрлийн нэгтгэх шийдэл нь ямар ч цуваажуулагч/цэвэрлэгч ашигладаггүй боловч CSI-2 өгөгдөл дамжуулах хамгийн их зай буюу 30 см хүртэл хязгаарлагддаг. AM6x Linux SDK нь энэ төрлийн CSI-2 агрегаторыг дэмждэггүй.

Deserializer Hub

Камер

CSI-2 Rx

Камер Камер Камер

CSI-2 Rx CSI-2 Rx

CSI-2 Tx

CSI-2 Rx

AM62A/ AM62P
SoC

Зураг 2-3. CSI-2 агрегатор ашиглан олон камер холбох

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Програм хангамжийн олон камерыг идэвхжүүлэх

3 Програм хангамжийн олон камерыг идэвхжүүлэх

3.1 Камерын дэд системийн програм хангамжийн архитектур
Зураг 3-1-д AM62A/AM62P Linux SDK дээрх камерын бичлэгийн системийн программ хангамжийн өндөр түвшний блок диаграммыг Зураг 2-2-т үзүүлсэн HW системтэй харгалзуулж байна.

Хэрэглэгчийн програмууд

V4L2 хэрэгслүүд

Медиа хянагч

TI CSI2RX драйвер (SHIM, DMASS)
Cadence CSI2 - RX драйвер
Cadence D - PHY драйвер
Deserializer драйвер
Цуваажуулагч драйвер
Камер мэдрэгч драйвер
V4L2 хүрээ
Зураг 3-1. SerDes ашиглан камерын зураг авах системийн өндөр түвшний блок диаграмм
Энэхүү програм хангамжийн бүтэц нь Зураг 2-2-т үзүүлсэн шиг SoC-д SerDes ашиглан олон камерын урсгалыг хүлээн авах боломжийг олгодог. FPD-Link/V3-Link SerDes нь камер бүрт өвөрмөц I2C хаяг болон виртуал суваг оноодог. Камер бүрт өвөрмөц I2C хаягтай төхөөрөмжийн өвөрмөц модны давхаргыг үүсгэх ёстой. CSI-2 RX драйвер нь өвөрмөц виртуал сувгийн дугаарыг ашиглан камер бүрийг таньж, камерын урсгал бүрт DMA контекстийг үүсгэдэг. DMA контекст бүрт видео зангилаа үүсдэг. Дараа нь камер бүрээс өгөгдлийг хүлээн авч DMA ашиглан санах ойд хадгалдаг. Хэрэглэгчийн орон зайн програмууд нь камерын өгөгдөлд хандахын тулд камер бүрт тохирох видео зангилааг ашигладаг. Жишээ ньampЭнэхүү програм хангамжийн архитектурыг ашиглах талаархи мэдээллийг 4-р бүлэгт лавлагаа дизайнд оруулсан болно.
V4L2 фреймворктой нийцсэн аливаа тодорхой мэдрэгч драйвер нь энэ архитектурт залгаад тоглуулж болно. Шинэ мэдрэгч драйверийг Linux SDK-д хэрхэн нэгтгэх талаар [8]-аас үзнэ үү.
3.2 Зургийн дамжуулах хоолойн програм хангамжийн архитектур AM6x Linux SDK нь GStreamer (GST) хүрээг хангадаг бөгөөд энэ нь янз бүрийн хэрэглээний зураг боловсруулах бүрэлдэхүүн хэсгүүдийг нэгтгэхийн тулд хэрэглэгчийн орон зайд ашиглагдах боломжтой. Vision Pre-processing Accelerator (VPAC) эсвэл ISP, видео кодлогч/декодер, гүнзгий суралцах тооцооллын хөдөлгүүр зэрэг SoC дээрх Техник хангамжийн хурдасгууруудад (HWA) GST-ээр ханддаг. plugins. VPAC (ISP) нь өөрөө GST залгаастай харгалзах Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), Multiscalar (MSC) зэрэг олон блоктой.
Зураг 3-2 нь камераас AM62A дээрх кодчилол эсвэл гүнзгий суралцах программ хүртэлх ердийн дүрс дамжуулах хоолойн блок диаграммыг харуулж байна. Төгсгөл хоорондын мэдээллийн урсгалын талаарх дэлгэрэнгүй мэдээллийг EdgeAI SDK баримтаас авна уу.

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Програм хангамжийн олон камерыг идэвхжүүлэх

Автомат өртөлтийн хяналт

2А алгоритм

Камер

v4l2src

GST plugins ISP-ийн хувьд

HWA-г кодлож байна
GST plugins кодчилолд зориулагдсан
GST plugins Гүнзгий суралцахад зориулагдсан

www.ti.com
Доод урсгалын програмууд

ISP HWA

Гүнзгий суралцах HWA

Gstreamer (GST) залгаас AM62A Hardware Accelerator (HWA)
Зураг 3-2. GStreamer ашигладаг ердийн AM62A дүрс дамжуулах хоолой AM62P дээр ISP байхгүй тул дүрс дамжуулах нь илүү хялбар байдаг.

HWA-г кодлож байна

Камер

v4l2src

GST plugins кодчилолд зориулагдсан
GST plugins 3-D графикийн хувьд

Доод урсгалын програмууд

Гүнзгий суралцах HWA
Gstreamer (GST) залгаас AM62P Hardware Accelerator (HWA)
Зураг 3-3. GStreamer ашигладаг ердийн AM62P зургийн дамжуулах хоолой
Камер бүрт зориулж бүтээсэн видео зангилааны тусламжтайгаар GStreamer-д суурилсан дүрс дамжуулах хоолой нь олон камерын оролтыг (ижил CSI-2 RX интерфейсээр холбосон) нэгэн зэрэг боловсруулах боломжийг олгодог. Олон камерын хэрэглээнд зориулж GStreamer ашигласан лавлах загварыг дараагийн бүлэгт өгөв.

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Лавлах дизайн

4 Лавлах загвар
Энэ бүлэгт Arducam V62Link Camera Solution иж бүрдэл ашиглан AM3A EVM дээр олон камертай програмуудыг ажиллуулж, 4 CSI-2 камерыг AM62A-д холбож, бүх 4 камерт объект илрүүлэгчийг ажиллуулж байгаа жишиг загварыг танилцуулж байна.
4.1 Дэмжигдсэн камерууд
Arducam V3Link иж бүрдэл нь FPD-Link/V3-Link дээр суурилсан камер болон Raspberry Pi-тэй нийцтэй CSI-2 камертай ажилладаг. Дараах камеруудыг туршиж үзсэн: · D3 Engineering D3RCM-IMX390-953 · Ирвэс дүрслэлийн LI-OV2312-FPDLINKIII-110H · Arducam V219Link камерын шийдлийн багц дахь IMX3 камерууд
4.2 Дөрвөн IMX219 камерыг тохируулах
AM62A Starter Kit EVM Quick Start Guild-д өгсөн зааврыг даган SK-AM62A-LP EVM (AM62A SK) болон ArduCam V3Link камерын шийдлийг V62Link иж бүрдлээр дамжуулан AM3A SK-д холбохын тулд камерыг хурдан эхлүүлэх гарын авлагыг тохируулна уу. Уян кабель, камер, V3Link хавтан болон AM62A SK дээрх зүү нь бүгд зөв зэрэгцсэн эсэхийг шалгаарай.
Зураг 4-1-д энэ тайлангийн жишиг загварт ашигласан тохиргоог харуулав. Тохируулгын үндсэн бүрэлдэхүүн хэсгүүдэд: · 1X SK-AM62A-LP EVM самбар · 1X Arducam V3Link d-ch адаптерийн самбар · Arducam V3Link-ийг SK-AM62A-д холбогч FPC кабель · 4X V3Link камерын адаптер (цуваажуулагч) · 4X RF коаксиаль кабелийг V3Lchin-д холбох иж бүрдэл · 3X IMX4 камер · 219X CSI-4 камерыг цуваажуулагчтай холбох 2 зүү кабель · Кабель: HDMI кабель, SK-AM22A-LP-ийг тэжээх USB-C ба V62Link d-ch иж бүрдэлд зориулсан 12V тэжээлийн эх үүсвэр) · Зураг 3-4-д харуулаагүй бусад бүрэлдэхүүн хэсгүүд: micro-SK-LP-ийн карт, micro-SD-A1 холболт
урсгалд зориулсан ethernet

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Лавлах дизайн

www.ti.com

Зураг 4-1. V3link самбар ба 4 камерын тохиргоог лавлах загварт ашигласан
4.3 Камер болон CSI-2 RX интерфэйсийг тохируулах
Arducam V3Link хурдан эхлүүлэх гарын авлагад заасан зааврын дагуу програм хангамжийг тохируулна уу. Камерын тохиргооны скриптийг ажиллуулсны дараа setup-imx219.sh, камерын формат, CSI-2 RX интерфэйсийн формат, камер бүрээс харгалзах видео зангилаа хүртэлх замыг зөв тохируулах болно. Дөрвөн видео зангилаа дөрвөн IMX219 камерт зориулагдсан. “v4l2-ctl –list-devices” команд нь доор үзүүлсэн шиг бүх V4L2 видео төхөөрөмжүүдийг харуулна.
root@am62axx-evm:~# v4l2-ctl –list-devices j721e-csi2rx (платформ:30102000.ticsi2rx):
/dev/video2 /dev/video3 /dev/video4 /dev/video5 /dev/video6 /dev/video7 /dev/media0
wave5-dec (платформ:wave5-dec): /dev/video0
wave5-enc (платформ:wave5-enc): /dev/video1

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Лавлах дизайн

Tiscsi6rx доор 1 видео зангилаа, 2 медиа зангилаа байдаг. Видео зангилаа бүр нь DMA контекст нийцдэг
CSI2 RX драйвераар хуваарилагдсан. Зурагт үзүүлсний дагуу 6 видео зангилааны 4-ийг 4 IMX219 камерт ашигладаг.
доорх медиа хоолойн топологи:
root@am62axx-evm:~# media-ctl -p
Төхөөрөмжийн топологи – нэгж 1: 30102000.ticsi2rx (7 дэвсгэр, 7 холбоос, 4 маршрут)
төрөл V4L2 subdev дэд төрөл Үл мэдэгдэх тугууд 0 төхөөрөмжийн зангилааны нэр /dev/v4l-subdev0 чиглүүлэлтүүд:
0/0 -> 1/0 [ИДЭВХТЭЙ] 0/1 -> 2/0 [ИДЭВХТЭЙ] 0/2 -> 3/0 [ИДЭВХТЭЙ] 0/3 -> 4/0 [ИДЭВХТЭЙ] pad0: Угаалтуур [урсгал: 0 fmt:UYVY8_1X16/640×480 талбар: нэг ч өнгөгүй xrgbferc601s:srgb: quantization:lim-range] [урсгал: 1 fmt:UYVY8_1X16/640×480 талбар: байхгүй өнгөний орон зай:srgb xfer:srgb ycbcr:601 квантчлал:lim-range] [урсгал:2 fmt:UYVY8_1X16/640×480 талбар:srgn:srgbpace ycbcr:601 quantization:lim-range] [урсгал:3 fmt:UYVY8_1X16/640×480 талбар:ямар ч өнгөний орон зай:srgb xfer:srgb ycbcr:601 квантчлал:lim-range] <- “cdns_csi2rx.30101000”bridge:-” [ИДЭВХЖҮҮЛСЭН, ӨӨРЧЛӨХГҮЙ] pad1: Эх сурвалж [урсгал: 1 fmt: UYVY0_8X1/16×640 талбар: байхгүй өнгөний орон зай: srgb xfer: srgb ycbcr: 480 квантчлал: хязгаарын хүрээ] -> “601.ticsi30102000r] -> “2.ticsi0r]M, context0r: pad2: Эх сурвалж [урсгал: 0 fmt: UYVY8_1X16/640×480 талбар: байхгүй colorpace:srgb xfer:srgb ycbcr:601 квантчлал:lim-range] -> “30102000.ticsi2rx context 1”:0 [IMUTALED:3], fmt:UYVY0_8X1/16×640 талбар: байхгүй colorpace:srgb xfer:srgb ycbcr:480 quantization:lim-range] -> “601.ticsi30102000rx context 2”:2 [ИДЭВХЖҮҮЛСЭН, ӨӨРЧЛӨХГҮЙ] pad0:4ur fmt:UYVY0_8X1/16×640 талбар: байхгүй colorpace:srgb xfer:srgb ycbcr:480 quantization:lim-range] -> “601.ticsi30102000rx context 2”:3 [ИДЭВХЖҮҮЛСЭН, ӨӨРЧЛӨЛТГҮЙ] pad0:5контекст pad30102000:2 4”:0 [ИДЭВХЖҮҮЛСЭН, ӨӨРЧЛӨХГҮЙ] дэвсгэр6: Эх сурвалж -> “30102000.ticsi2rx контекст 5″:0 [ИДЭВХЖҮҮЛСЭН, ӨӨРЧЛӨХГҮЙ]

Дээр дурдсанчлан 30102000.ticsi2rx медиа байгууллага нь 6 эх дэвсгэртэй боловч эхний 4-ийг л ашигладаг бөгөөд тус бүр нь нэг IMX219-д зориулагдсан. Медиа хоолойн топологийг мөн графикаар дүрсэлж болно. Цэг үүсгэхийн тулд дараах тушаалыг ажиллуулна уу file:
root@am62axx-evm:~# media-ctl –print-dot > media.dot

Дараа нь png үүсгэхийн тулд Linux хост компьютер дээр доорх тушаалыг ажиллуулна уу file:
$ dot -Tpng media-top.dot -o media-top.png

Зураг 4-2 нь дээр өгөгдсөн командуудыг ашиглан үүсгэсэн зураг юм. Зураг 3-1-ийн програм хангамжийн архитектурын бүрэлдэхүүн хэсгүүдийг энэ графикаас харж болно.

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Лавлах дизайн

Камерын цуваажуулагч

Imx219 6-0010 /dev/v4l-subdev9
0
0 ds90ub953 4-0044 /dev/v41-subdev8
1

Imx219 7-0010 /dev/v4l-subdev5
0
0 ds90ub953 4-0045 /dev/v41-subdev3
1

Imx219 8-0010 /dev/v4l-subdev7
0
0 ds90ub953 4-0046 /dev/v41-subdev4
1

Цуваа салгах төв

ds90ub960 4-0030 /dev/v4l-subdev2

D-PHY болон CSI-2 Rx гүүр

0
cdns_csi2rx.30101000.csi-bridge /dev/v4l-subdev1

TI CSI-2 RX (SHIM, DMASS)

0 30102000.ticsi2rx /dev/v4l-subdev0
1 23 4 5 6

www.ti.com
Imx219 9-0010 /dev/v4l-subdev10
0
0 ds90ub953 4-0047 /dev/v41-subdev6
1

30102000.ticsi2rx контекст 0 /dev/video2

30102000.ticsi2rx контекст /dev/video3

1text3010200/d0e.tvic/vsiid2erxo4context

30102000.ticsi2rx контекст 3 /dev/video5

30102000.ticsi2rx контекст 4 /dev/video6

30102000.ticsi2rx контекст 5 /dev/video7

Видео зангилаа: эхний 4 зангилаа, камер бүрт нэгийг ашигладаг

Зураг 4-2. Олон камерын системийн медиа топологи

4.4 Дөрвөн камераас дамжуулж байна
Техник хангамж болон програм хангамжийн аль алиныг нь зөв тохируулснаар олон камертай програмууд хэрэглэгчийн орон зайгаас ажиллах боломжтой. AM62A-ийн хувьд ISP нь сайн чанарын дүрс гаргахын тулд тохируулагдсан байх ёстой. ISP тохируулгыг хэрхэн хийх талаар AM6xA ISP тааруулах гарын авлагаас үзнэ үү. Дараах хэсгүүдийг толилуулж байнаampкамерын өгөгдлийг дэлгэц рүү дамжуулах, камерын өгөгдлийг сүлжээнд дамжуулах, камерын өгөгдлийг хадгалах files.
4.4.1 Камерын өгөгдлийг харуулахын тулд дамжуулах
Энэхүү олон камерын системийн үндсэн хэрэглээ бол бүх камераас ижил SoC-д холбогдсон дэлгэц рүү видео дамжуулах явдал юм. Дараах нь GStreamer дамжуулах хоолой юмampДөрвөн IMX219-ийг дэлгэц рүү дамжуулах (хэвийн шугам дахь видео зангилааны дугаар болон v4l-subdev дугаарууд нь дахин ачаалахаас дахин ачаалах хооронд өөрчлөгдөх магадлалтай).

gst-launch-1.0 v4l2src төхөөрөмж=/dev/video2 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev9 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8! видео/x-raw, формат=NV12, өргөн=1920, өндөр=1080! дараалал! mosaic.sink_0 v4l2src төхөөрөмж=/dev/video3 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev5 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8! видео/x-raw, формат=NV12, өргөн=1920, өндөр=1080! дараалал! mosaic.sink_1 v4l2src төхөөрөмж=/dev/video4 io-mode=5 ! видео/х-

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Лавлах дизайн

bayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr ! дараалал алдагдсан = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev7 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8! видео/x-raw, формат=NV12, өргөн=1920, өндөр=1080! дараалал! mosaic.sink_2 v4l2src төхөөрөмж=/dev/video5 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev10 sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8! видео/x-raw, формат=NV12, өргөн=1920, өндөр=1080! дараалал! mosaic.sink_3 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<640>” sink_0::heights=”<480>” sink_1::startx=”_<0:”1”s sink_480::widths=”<1>” sink_640::heights=”<1>” sink_480::startx=”<2>” sink_640::starty=”<2>” sink_0::widths=”<2>” sink_640::heights=” sink=2”st<480:” sink_3::starty=”<640>” sink_3::widths=”<480>” sink_3::heights=”<640>” ! дараалал! видео/x-raw, өргөн=3, өндөр=480! kmssink драйверын нэр = tidss синхрончлол = худал forcemodesetting = үнэн

4.4.2 Камерын өгөгдлийг Ethernet-ээр дамжуулах
Ижил SoC-д холбогдсон дэлгэц рүү дамжуулахын оронд камерын өгөгдлийг Ethernet-ээр дамжуулж болно. Хүлээн авагч тал нь өөр AM62A/AM62P процессор эсвэл хост компьютер байж болно. Дараах нь эксampEthernet-ээр дамжуулан камерын өгөгдлийг дамжуулах (хялбар болгохын тулд хоёр камер ашиглах) (дамжуулах хоолойд ашигласан кодлогчийн залгаасыг анхаарна уу):
gst-launch-1.0 v4l2src төхөөрөмж=/dev/video2 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 ! дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080,framerate=30/1! v4l2h264enc! rtph264 төлөх! udpsink порт = 5000 хост = v4l2src төхөөрөмж=/dev/video3 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080,framerate=30/1! v4l2h264enc! rtph264 төлөх! udpsink порт = 5001 хост =

Дараах нь эксampКамерын өгөгдлийг хүлээн авч, өөр AM62A/AM62P процессор дээрх дэлгэц рүү дамжуулах:
gst-launch-1.0 -v udpsrc порт=5000 ! 'application/x-rtp, encoding-name=H264, payload=96' ! rtph264depay! avdec_h264! дараалал! видео хөрвүүлэх! дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080! дараалал! mosaic.sink_0 udpsrc порт=5001! 'application/x-rtp, encoding-name=H264, payload=96' ! rtph264depay! avdec_h264! дараалал! видео хөрвүүлэх! дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080! дараалал! mosaic.sink_1 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<960>” sink_0::heights=”<540>” sink_1::startx=”sink_960::startx=”sink_1::starkty=”<540”> sink_1::widths=”<960>” sink_1::heights=”<540>” ! дараалал! kmssink драйверын нэр = tidss синхрончлол = худал

4.4.3 Камерын өгөгдлийг хадгалах Files
Дэлгэц рүү эсвэл сүлжээгээр дамжуулахын оронд камерын өгөгдлийг дотоод руу хадгалах боломжтой fileс. Доорх дамжуулах хоолой нь камер бүрийн өгөгдлийг a file (хоёр камерыг хуучин байдлаар ашиглаж байнаampэнгийн байдлын үүднээс).
gst-launch-1.0 v4l2src төхөөрөмж=/dev/video2 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 !

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Лавлах дизайн

www.ti.com

дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080,framerate=30/1! v4l2h264enc! fileугаалтуурын байршил=camcap-1.mp4 v4l2src төхөөрөмж=/dev/video3 io-mode=5 ! video/xbayer,өргөн=1920,өндөр=1080,framerate=30/1,format=bggr! дараалал алдагдсан = 2 ! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! дараалал! видео/x-raw,формат=NV12,өргөн=1920,өндөр=1080,framerate=30/1! v4l2h264enc! fileугаалтуурын байршил=cam-cap-2.mp4

4.5 Олон камерын гүнзгий сургалтын дүгнэлт

AM62A нь ангилал, объект илрүүлэх, семантик сегментчилэл гэх мэт төрөл бүрийн гүнзгий сургалтын загваруудыг ажиллуулах чадвартай, хоёр хүртэлх TOPS бүхий гүнзгий суралцах хурдасгуур (C7x-MMA) -аар тоноглогдсон. Энэ хэсэгт AM62A хэрхэн дөрвөн өөр камерын тэжээл дээр дөрвөн гүнзгий суралцах загварыг нэгэн зэрэг ажиллуулж болохыг харуулж байна.

4.5.1 Загвар сонгох

TI-ийн EdgeAI-ModelZoo нь олон зуун орчин үеийн загваруудыг хангадаг бөгөөд эдгээрийг анхны сургалтын системээс суулгагдсан ээлтэй формат руу хөрвүүлсэн/экспортолсон бөгөөд ингэснээр C7x-MMA гүнзгий сургалтын хурдасгуурт шилжүүлж болно. Үүлэнд суурилсан Edge AI Studio Model Analyzer нь хэрэглэхэд хялбар "Загвар сонгох" хэрэглүүрээр хангадаг. Энэ нь TI EdgeAI-ModelZoo-д дэмжигдсэн бүх загваруудыг оруулахын тулд динамикаар шинэчлэгдсэн. Энэхүү хэрэгсэл нь өмнөх туршлага шаарддаггүй бөгөөд хүссэн загварт шаардлагатай функцуудыг оруулахад хялбар интерфейсээр хангадаг.

Энэхүү олон камертай гүнзгий суралцах туршилтанд TFL-OD-2000-ssd-mobV1-coco-mlperf-г сонгосон. Энэхүү олон объект илрүүлэх загвар нь 300×300 оролтын нягтрал бүхий Tensor Flow системд бүтээгдсэн. Хүснэгт 4-1-д 80 орчим өөр анги бүхий коко мэдээллийн багц дээр сургагдсан энэ загварын чухал шинж чанаруудыг харуулав.

Хүснэгт 4-1. TFL-OD-2000-ssd-mobV1-coco-mlperf загварын онцлогуудыг онцлон тэмдэглэ.

Загвар

Даалгавар

Шийдвэр

FPS

COCO дээр mAP 50% нарийвчлал

Хоцролт/Фрейм (мс)

DDR BW ашиглалт (MB/ Frame)

TFL-OD-2000-ssd-

Олон объект 300×300

~152

15.9

6.5

mobV1-coco-mlperf

Илрүүлэх

18.839

4.5.2 Дамжуулах хоолойн тохиргоо
Зураг 4-3-т 4 камертай гүнзгий суралцах GStreamer дамжуулах хоолойг харуулав. TI нь GStreamer-ийн костюм өгдөг plugins Энэ нь зарим медиа боловсруулалтыг буулгах, техник хангамжийн хурдасгуурт гүнзгий суралцах дүгнэлт гаргах боломжийг олгодог. Зарим нь өмнөхampэдгээрээс цөөнгүй plugins tiovxisp, tiovxmultiscaler, tiovxmosaic, tidlinferer зэрэг орно. Зураг 4-3 дахь дамжуулах хоолойд шаардлагатай бүх зүйлийг багтаасан болно plugins олон замт GStreamer дамжуулах хоолойд зориулсан 4 камерын оролт тус бүрт медиа урьдчилсан процесс, гүнзгий суралцах дүгнэлт, дараах процесс бүхий. Давхардсан plugins Камерын зам тус бүрийг илүү хялбар харуулахын тулд графикт давхарласан байна.
Боломжтой техник хангамжийн нөөцийг дөрвөн камерын замд жигд хуваарилдаг. Жишээ нь, AM62A нь MSC0 ба MSC1 гэсэн хоёр зургийн олон хэмжигчийг агуулдаг. Дамжуулах хоолой нь MSC0-ийг 1-р камер ба 2-р камерын замыг боловсруулахад зориулагдсан бол MSC1 нь 3-р камер ба 4-р камерт зориулагдсан.

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com
CSI IMX219 Камер(1) Камер(2) Камер(3) Камер(4)

VISS хурдасгуур

MSC хурдасгуур

1920×1080

RGGB

NV12

Input Capture

Exposure Gain

v4l2src

tiovxisp

Хэмжээ болон хуваах tiovxmultiscaler

1110×690 NV12

дараалал

MSC хурдасгуур

TiovxMultiscoler масштаб
640×480 NV12

Гүн сургалтын хурдасгуур C7x/MMA

дараалал

Лавлах дизайн
MSC хурдасгуур
TiovxMultiscoler масштаб
300×300 NV12
tiovxdlpreproc-ийг урьдчилан боловсруулж байна
300×300RGB
tidlinferer
Дараах үйл явц tidlpostproc

DSS хурдасгуур

MSC хурдасгуур

192×1080
NV12 HDMI

Kmssink харуулахын тулд

Гүйцэтгэлийн төрөл

Conc Images tiovxmosaic

4x640x480 NV12

GST Plugin ARM NEON оновчтой GST Plugin ARM гүнзгий суралцах хугацаа

A53 ARM цөм дээрх HW HW Accelerator програмын код бүхий GST Plugin

Зураг 4-3. AM219A дээрх Quad CSI IMX62 камерт зориулсан GStreamer дамжуулах хоолой.

Дөрвөн камерын дамжуулах хоолойн гаралтыг tiovxmosaic залгаасыг ашиглан багасгаж, нэгтгэсэн. Гаралтыг нэг дэлгэц дээр харуулна. Зураг 4-4-т объект илрүүлэгчийг ажиллуулж буй гүнзгий суралцах загвар бүхий дөрвөн камерын гаралтыг харуулав. Дамжуулах хоолой (камер) бүр 30 FPS, нийт 120 FPS хурдтай ажилладаг.

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Лавлах дизайн

www.ti.com

Зураг 4-4. График гүйцэтгэлийн давхцал бүхий AM62A ашиглан дөрвөлсөн камертай объект илрүүлэх гүнзгий сургалтын дүгнэлтийн дэлгэцийн агшин
Дараа нь Зураг 4-3-т үзүүлсэн олон камерын гүн гүнзгий сургалтын ашиглалтын бүрэн хэмжээний скрипт юм.
gst-launch-1.0 -v v4l2src төхөөрөмж=/dev/video2 io-mode=5 ! дараалал алдагдсан = 2 ! video/x-bayer, өргөн=1920, өндөр=1080, формат=rggb! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2! видео/x-raw, формат=NV12! tiovxmultiscaler зорилтот = 0 нэр = split_01 split_01. ! дараалал! видео/x-raw, өргөн=1110, өндөр=690! tiovxmultiscaler зорилтот = 0 ! video/xraw, өргөн=300, өндөр=300! tiovxdlpreproc өгөгдлийн төрөл = 3 суваг захиалга = 1 tensor-format = rgb outpool-size = 4 ! application/x-tensor-tiovx! tidlinferer target=1 загвар=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_0.tensor split_01. ! дараалал! видео/x-raw, өргөн=640, өндөр=360! post_0.sink tidlpostproc нэр=post_0 загвар=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-босго=0.600000 дээд-N=5! дараалал! мозайк_0. v4l2src төхөөрөмж=/dev/video3 io-mode=5 ! дараалал алдагдсан = 2 ! video/x-bayer, өргөн=1920, өндөр=1080, формат=rggb! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2! видео/x-raw, формат=NV12! tiovxmultiscaler зорилтот = 0 нэр = split_11 split_11. ! дараалал! видео/x-raw, өргөн=1110, өндөр=690! tiovxmultiscaler зорилтот = 0 ! video/xraw, өргөн=300, өндөр=300! tiovxdlpreproc өгөгдлийн төрөл = 3 суваг захиалга = 1 tensor-format = rgb outpool-size = 4 ! application/x-tensor-tiovx! tidlinferer target=1 загвар=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_1.tensor split_11. ! дараалал! видео/x-raw, өргөн=640, өндөр=360! post_1.sink tidlpostproc нэр=post_1 загвар=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-босго=0.600000 дээд-N=5! дараалал! мозайк_0. v4l2src төхөөрөмж=/dev/video4 io-mode=5 ! дараалал алдагдсан = 2 ! video/x-bayer, өргөн=1920, өндөр=1080, формат=rggb! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2! видео/x-raw, формат=NV12! tiovxmultiscaler зорилтот = 1 нэр = split_21 split_21. ! дараалал! видео/x-raw, өргөн=1110, өндөр=690! tiovxmultiscaler зорилтот = 1 ! video/xraw, өргөн=300, өндөр=300! tiovxdlpreproc өгөгдлийн төрөл = 3 суваг захиалга = 1 tensor-format = rgb outpool-size = 4 ! application/x-tensor-tiovx! tidlinferer target=1 загвар=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_2.tensor split_21. ! дараалал! видео/x-raw, өргөн=640, өндөр=360! post_2.sink tidlpostproc нэр=post_2 загвар=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-босго=0.600000 дээд-N=5! дараалал! мозайк_0.

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Лавлах дизайн

v4l2src төхөөрөмж=/dev/video5 io-mode=5 ! дараалал алдагдсан = 2 ! video/x-bayer, өргөн=1920, өндөр=1080, формат=rggb! tiovxisp sensor-name=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2! видео/x-raw, формат=NV12! tiovxmultiscaler зорилтот = 1 нэр = split_31 split_31. ! дараалал! видео/x-raw, өргөн=1110, өндөр=690! tiovxmultiscaler зорилтот = 1 ! video/xraw, өргөн=300, өндөр=300! tiovxdlpreproc өгөгдлийн төрөл = 3 суваг захиалга = 1 tensor-format = rgb outpool-size = 4 ! application/x-tensor-tiovx! tidlinferer target=1 загвар=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_3.tensor split_31. ! дараалал! видео/x-raw, өргөн=640, өндөр=360! post_3.sink tidlpostproc нэр=post_3 загвар=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 viz-босго=0.600000 дээд-N=5! дараалал! мозайк_0. tiovxmosaic src::pool-size=3 нэр=mosaic_0 sink_0::startx=”<320>” угаалтуур_0::starty=”<180>” sink_0::widths=”<640>” угаалтуур_0::heights=”<360>”start_1:”< sink_960::starty=”<1>” sink_180::widths=”<1>” sink_640::heights=”<1>” угаалтуур_360::startx=”<2>” угаалтуур_320::starty=”<2>” угаалтуур_560::widths=”:he_2”<640> sink_2::startx=”<360>” sink_3::starty=”<960>” sink_3::widths=”<560>” sink_3::heights=”<640>” ! видео/x-raw,формат=NV3, өргөн=360, өндөр=12! дараалал! tiperfoverlay title=”AM1920A: Дөрвөн камерын объект илрүүлэх”! kmssink sync=хуурамч драйверын нэр=tidss force-modesetting=true

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Гүйцэтгэлийн шинжилгээ

www.ti.com

5 Гүйцэтгэлийн шинжилгээ
V3Link хавтан болон AM62A SK ашиглан дөрвөн камер бүхий тохиргоог дэлгэцэн дээр шууд харуулах, Ethernet (дөрвөн UDP суваг)-аар дамжуулах, 4 тусдаа бичлэг хийх зэрэг хэрэглээний янз бүрийн нөхцөлд туршсан. files, мөн гүнзгий суралцах дүгнэлттэй. Туршилт болгондоо бид системийн чадавхийг бүхэлд нь судлахын тулд фрэймийн хурд болон CPU-ийн цөмийн ашиглалтыг хянаж байсан.
Өмнө нь Зураг 4-4-т харуулсанчлан гүнзгий суралцах шугам хоолой нь tiperfoverlay GStreamer залгаасыг ашиглан CPU-ийн үндсэн ачааллыг дэлгэцийн доод талд зураасан график хэлбэрээр харуулдаг. Анхдагч байдлаар, ачааллыг ашиглалтын хувиар харуулахын тулд графикийг хоёр секунд тутамд шинэчилдэгtagд. Tiperfoverlay GStreamer залгаасаас гадна perf_stats хэрэгсэл нь цөмийн гүйцэтгэлийг терминал дээр шууд харуулах хоёр дахь сонголт бөгөөд компьютерт хадгалах боломжтой. file. Энэ хэрэгсэл нь tiperfoverlay-тэй харьцуулахад илүү нарийвчлалтай бөгөөд хожим нь Arm core болон DDR дээр нэмэлт ачаалал өгч, график зурж, дэлгэцэн дээр давхарлана. Perf_stats хэрэгсэл нь энэ баримт бичигт үзүүлсэн бүх туршилтын тохиолдлуудад техник хангамжийн ашиглалтын үр дүнг цуглуулахад ашиглагддаг. Эдгээр туршилтуудад судлагдсан зарим чухал боловсруулалтын цөм, хурдасгуурт үндсэн процессорууд (53 A1.25 Arm цөм @ 7GHz), гүнзгий суралцах хурдасгуур (C850x-MMA @ 0MHz), VISS болон multiscaler (MSC1 болон MSCXNUMX) бүхий VPAC (ISP) болон DDR үйлдлийн системүүд орно.
Хүснэгт 5-1-д дөрвөн камерыг дэлгэц рүү дамжуулах, ethernet-ээр дамжуулах, дөрвөн тусдаа камерт бичлэг хийх зэрэг гурван төрлийн хэрэглээний дөрвөн камертай AM62A ашиглах үед гүйцэтгэл болон нөөцийн ашиглалтыг харуулав. fileс. Хэрэглэх тохиолдол бүрт хоёр туршилтыг хэрэгжүүлдэг: зөвхөн камертай болон гүнзгий суралцах дүгнэлттэй. Нэмж хэлэхэд, Хүснэгт 5-1-ийн эхний мөрөнд ямар ч хэрэглэгчийн програмгүйгээр зөвхөн үйлдлийн систем AM62A дээр ажиллаж байх үеийн техник хангамжийн ашиглалтыг харуулав. Үүнийг бусад туршилтын тохиолдлуудын техник хангамжийн ашиглалтыг үнэлэхдээ харьцуулах суурь үзүүлэлт болгон ашигладаг. Хүснэгтээс харахад гүн гүнзгий суралцах, дэлгэцийн дэлгэцтэй дөрвөн камер нь тус бүрдээ 30 FPS, нийт дөрвөн камерын хувьд 120 FPS хурдтай ажилласан. Энэхүү өндөр фрэймийн хурд нь гүнзгий суралцах хурдасгуурын (C86x-MMA) бүрэн хүчин чадлыг зөвхөн 7% байхад л хүрдэг. Нэмж дурдахад эдгээр туршилтуудад гүнзгий суралцах хурдасгуур нь 850 МГц биш харин 1000 МГц давтамжтай байсан бөгөөд энэ нь түүний хамгийн дээд гүйцэтгэлийн дөнгөж 85 орчим хувийг эзэлдэг.

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com

Гүйцэтгэлийн шинжилгээ

Хүснэгт 5-1. Дэлгэц харуулах, Ethernet дамжуулалт, бичлэг хийх зориулалттай 62 IMX4 камертай ашиглах үед AM219A-ийн гүйцэтгэл (FPS) ба нөөцийн ашиглалт Files, болон Гүнзгий суралцах дүгнэлт хийх

Хэрэглээний шугам хоолойн гаралт

(үйл ажиллагаа

)

FPS дундаж FPS дамжуулах хоолойн нийт с

MPUs A53s @ 1.25 GHz [%]

MCU R5 [%]

DLA (C7xMMA) @ 850 МГц [%]

VISS [%]

MSC0 MSC1 DDR DDR DDR

[%] [%]

Нийт

[МБ/с] [МБ/с] [МБ/с]

Апп байхгүй

Суурь NA Үйл ажиллагаа байхгүй

1.87 1

560 19

579

30-р дэлгэц рүү камер дамжуулна

зөвхөн

Дэлгэц

120 12

1015 757 1782

Урсгал UDP: 4 30

120 23

2071 1390 3461

дууссан

портууд

ethernet 1920×1080

4 хүртэл бичнэ үү files

120 25

2100 1403 3503

files

1920×1080

Гүнтэй камер

Дэлгэц 30

Гүн

сурах:

сургалтын объект

илрүүлэх

MobV1-

коко

120 38

2926 1676 4602

Гүнзгий суралцах: Объект илрүүлэх MobV1coco болон Ethernet дээр Stream

UDP: 4 28 порт 1920×1080

112 84

4157 2563 6720

Гүнзгий суралцах: Объект илрүүлэх MobV1coco ба бичлэг хийх files

4 files

1920×1080

112 87

2024 2458 6482

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

Дүгнэлт

www.ti.com

6 Дүгнэлт
Энэхүү програмын тайлан нь AM6x гэр бүлийн төхөөрөмжүүд дээр олон камертай програмуудыг хэрхэн хэрэгжүүлэх талаар тайлбарласан болно. Arducam-ийн V3Link Camera Solution Kit болон AM62A SK EVM дээр суурилсан лавлагаа дизайныг тайланд тусгасан бөгөөд хэд хэдэн камерын програмууд нь урсгал болон объект илрүүлэх зэрэг дөрвөн IMX219 камер ашигладаг. Хэрэглэгчид Arducam-аас V3Link Camera Solution иж бүрдлийг худалдан авч, эдгээр хуучин хувилбаруудыг хуулбарлахыг зөвлөж байна.amples. Уг тайланд дэлгэцэн дээр харуулах, Ethernet-ээр дамжуулах, бичлэг хийх гэх мэт янз бүрийн тохиргоотой дөрвөн камер ашиглах үед AM62A-ийн гүйцэтгэлийн нарийвчилсан дүн шинжилгээг өгдөг. fileс. Энэ нь AM62A нь дөрвөн тусдаа камерын урсгал дээр зэрэгцэн гүнзгий суралцах дүгнэлт гаргах чадварыг харуулж байна. Эдгээр экс ажиллуулах талаар ямар нэг асуулт байгаа болamples, TI E2E форум дээр лавлагаа илгээнэ үү.

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

www.ti.com
7 Ашигласан материал
1. AM62A Starter Kit EVM хурдан эхлүүлэх гарын авлага 2. ArduCam V3Link камерын шийдлийг хурдан эхлүүлэх гарын авлага 3. AM62A-д зориулсан Edge AI SDK баримтжуулалт 4. Эрчим хүчний хэмнэлттэй AM62A процессорыг ашигладаг Edge AI ухаалаг камерууд 5. AM62A Driver болон OAAcu систем дэх Monitoring6AM62s дээрх камерын толин тусгалын системүүд. 7. Хүрээлэн буй орчинд зориулсан дөрвөлсөн сувгийн камерын програм View болон CMS камерын систем 8. CIS-62 мэдрэгчийг идэвхжүүлэх AM2Ax Linux академи 9. Edge AI ModelZoo 10. Edge AI Studio 11. Perf_stats хэрэгсэл
Энэхүү өргөдөлд дурдсан TI хэсгүүд Тайлбар: · https://www.ti.com/product/AM62A7 · https://www.ti.com/product/AM62A7-Q1 · https://www.ti.com/product/AM62A3 · https://www.ti.com/product/AM62A3-Q1 · https://www.ti.com/product/AM62A62 ·P https://www.ti.com/product/AM1P-Q90 · https://www.ti.com/product/DS960UB1-Q90 · https://www.ti.com/product/DS953UB1-Q960 · https://www.ti.com/product/TDES953 · https://www.ti.com/product/TSERXNUMX

Лавлагаа

SPRADH2 2024 оны XNUMX-р САР Баримт бичгийн санал хүсэлтийг илгээнэ үү

AM6x дээр олон камертай програмуудыг хөгжүүлж байна

ЧУХАЛ МЭДЭГДЭЛ БА ТОДОРХОЙЛОЛТ
ТИ ТЕХНИКИЙН БОЛОН НАЙДВАРТАЙ БАЙДЛЫН МЭДЭЭЛЭЛ (МЭДЭЭЛЛИЙН ХУУДАС ОРОН), ДИЗАЙННИЙ НӨӨЦ (ЛАВЛАГАА ДИЗАЙН ОРОН), ХЭРЭГЛЭЭ БУСАД ЗӨВЛӨГӨӨ, WEB ХЭРЭГСЭЛ, АЮУЛГҮЙ БАЙДЛЫН МЭДЭЭЛЭЛ БОЛОН БУСАД НӨӨЦИЙГ "БҮХ ГЭДЭГЭЭРЭЭ", БҮХ ГЭДЭГТЭЙ, ХУДАЛДААНЫ ХӨДӨЛГӨӨНИЙ ЯМАР БАТАЛГАА, ИЛТ ба далд баталгааг оролцуулан Хязгаарлалтгүйгээр татгалзаж байна. ГУРАВДАГЧДЫН ОЮУНЫ ӨМЧИЙН ЭРХИЙГ ЗӨРЧИХ .
Эдгээр эх сурвалжууд нь TI бүтээгдэхүүнээр загвар зохион бүтээх чадварлаг хөгжүүлэгчдэд зориулагдсан болно. Та (1) өөрийн хэрэглээнд тохирох TI бүтээгдэхүүнийг сонгох, (2) өөрийн өргөдлийг боловсруулах, баталгаажуулах, турших, (3) таны програм холбогдох стандарт болон бусад аюулгүй байдал, аюулгүй байдал, зохицуулалтын болон бусад шаардлагыг хангаж байгаа эсэхийг дангаараа хариуцна. .
Эдгээр нөөцийг мэдэгдэлгүйгээр өөрчлөх боломжтой. TI нь эдгээр нөөцийг зөвхөн нөөцөд тайлбарласан TI бүтээгдэхүүнийг ашигладаг программ боловсруулахад ашиглах зөвшөөрлийг олгодог. Эдгээр нөөцийг өөр хуулбарлах, үзүүлэхийг хориглоно. TI-ийн бусад оюуны өмчийн эрх эсвэл гуравдагч этгээдийн оюуны өмчийн эрхэд ямар ч лиценз олгохгүй. TI нь эдгээр нөөцийг ашигласнаас үүдэн гарах аливаа нэхэмжлэл, хохирол, зардал, алдагдал, хариуцлагыг TI болон түүний төлөөлөгчдөд бүрэн хариуцах болно.
TI-ийн бүтээгдэхүүнийг TI-ийн Борлуулалтын нөхцөл эсвэл ti.com дээр байгаа холбогдох бусад нөхцлийн дагуу эсвэл TI бүтээгдэхүүнтэй хамт нийлүүлдэг. TI-аас эдгээр нөөцөөр хангах нь TI-ийн бүтээгдэхүүнд хамаарах TI-ын холбогдох баталгаа, баталгаат хугацаанаас татгалзах мэдэгдлийг өргөжүүлэхгүй эсвэл өөр байдлаар өөрчлөхгүй.
TI нь таны санал болгосон нэмэлт эсвэл өөр нөхцөлийг эсэргүүцэж, татгалзаж байна. ЧУХАЛ МЭДЭГДЭЛ
Шуудангийн хаяг: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265 Copyright © 2024, Texas Instruments Incorporated

Баримт бичиг / нөөц

Texas Instruments AM6x олон камер хөгжүүлж байна [pdf] Хэрэглэгчийн гарын авлага
AM62A, AM62P, AM6x олон камер хөгжүүлж байна, AM6x, олон камер хөгжүүлж байна, олон камер, камер

Лавлагаа

Хэрэглэгчийн гарын авлага

Texas Instruments AM6x олон камерын хэрэглэгчийн гарын авлага

AM6x Олон камер хөгжүүлж байна

Үзүүлэлтүүд:

Бүтээгдэхүүнийг ашиглах заавар:

1. AM6x дээрх олон камерын хэрэглээний танилцуулга:

2. Олон камер ашигладаг програмууд:

3. Олон CSI-2 камерыг SoC-д холбох:

Түгээмэл асуултууд (FAQ):

Асуулт: Би AM6x гэр бүлтэй ямар ч төрлийн камер ашиглаж болох уу?
төхөөрөмжүүд?

А: AM62A болон AM62P хоёрын гол ялгаа нь юу вэ?
зураг боловсруулах?

Баримт бичиг / нөөц

Лавлагаа

Сэтгэгдэл үлдээгээрэй

Хариултыг цуцлах

AM6x Олон камер хөгжүүлж байна

Үзүүлэлтүүд:

Бүтээгдэхүүнийг ашиглах заавар:

1. AM6x дээрх олон камерын хэрэглээний танилцуулга:

2. Олон камер ашигладаг програмууд:

3. Олон CSI-2 камерыг SoC-д холбох:

Түгээмэл асуултууд (FAQ):

Асуулт: Би AM6x гэр бүлтэй ямар ч төрлийн камер ашиглаж болох уу? төхөөрөмжүүд?

А: AM62A болон AM62P хоёрын гол ялгаа нь юу вэ? зураг боловсруулах?

Баримт бичиг / нөөц

Лавлагаа

Сэтгэгдэл үлдээгээрэй

Хариултыг цуцлах

Асуулт: Би AM6x гэр бүлтэй ямар ч төрлийн камер ашиглаж болох уу?
төхөөрөмжүүд?

А: AM62A болон AM62P хоёрын гол ялгаа нь юу вэ?
зураг боловсруулах?