Texas Instruments AM6x камераҳои сершуморро таҳия мекунад

Мушаххасоти

• Номи маҳсулот: Оилаи дастгоҳҳои AM6x
• Навъи камераи дастгирӣшаванда: AM62A (Бо ё бе ISP дарунсохт), AM62P (Бо ISP дарунсохт)
• Маълумоти баромади камера: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• ISP HWA: AM62A (Ҳа), AM62P (Не)
• Омӯзиши амиқ HWA: AM62A (Ҳа), AM62P (Не)
• Графикаи 3D HWA: AM62A (Не), AM62P (Ҳа)

Муқаддима ба замимаҳои сершумори камера дар AM6x:

• Камераҳои воридшуда дар системаҳои муосири биниш нақши ҳалкунанда мебозанд.
• Истифодаи камераҳои сершумор дар система қобилиятҳоро беҳтар мекунад ва имкон медиҳад, ки вазифаҳое, ки бо як камера иҷро намешаванд.

Барномаҳо бо истифода аз якчанд камера:

• Назорати амниятӣ: Фарогирии назорат, пайгирии объект ва дақиқии шинохтро беҳтар мекунад.
• Гирифтан View: Биниш стереоро барои вазифаҳо ба монанди ошкор кардани монеаҳо ва коркарди объект имкон медиҳад.
• Сабткунаки кабина ва системаи оинаи камера: Фарогирии васеъро таъмин мекунад ва нуқтаҳои кӯрро нест мекунад.
• Тасвири тиббӣ: Дақиқии мукаммалро дар навигатсияи ҷарроҳӣ ва эндоскопия пешниҳод мекунад.
• Дронҳо ва тасвирҳои ҳавоӣ: Тасвирҳои баландсифатро аз кунҷҳои гуногун барои барномаҳои гуногун сабт кунед.

Пайваст кардани якчанд камераҳои CSI-2 ба SoC:
Барои пайваст кардани якчанд камераҳои CSI-2 ба SoC, дастурҳои дар дастури корбар овардашударо риоя кунед. Ҳамоҳангӣ ва пайвасти дурусти ҳар як камераро ба бандарҳои таъиншудаи SoC таъмин кунед.

Эзоҳ барои ариза
Таҳияи замимаҳои сершумори камера дар AM6x

Цзянчжун Сю, Қутайба Солеҳ

РЕФЕРАТ
Ин гузориш таҳияи барномаҳоро бо истифода аз камераҳои сершумори CSI-2 дар оилаи дастгоҳҳои AM6x тавсиф мекунад. Тарҳи истинод ба ошкоркунии объект бо омӯзиши амиқ дар 4 камера дар AM62A SoC бо таҳлили кор пешниҳод карда мешавад. Принсипҳои умумии тарроҳӣ ба дигар SoC-ҳо бо интерфейси CSI-2, ба монанди AM62x ва AM62P, татбиқ мешаванд.

Муқаддима

Камераҳои дохилӣ дар системаҳои муосири биниш нақши муҳим доранд. Истифодаи камераҳои сершумор дар система имкониятҳои ин системаҳоро васеъ мекунад ва имкон медиҳад, ки бо як камера имконнопазир аст. Дар зер баъзе аз собиқampБарномаҳо бо истифода аз камераҳои дарунсохт:

• Назорати амният: Камераҳои сершумори аз ҷиҳати стратегӣ ҷойгиршуда фарогирии ҳамаҷонибаи назоратиро таъмин мекунанд. Онҳо панорамиро имкон медиҳанд viewс, кам кардани нуқтаҳои нобино, ва баланд бардоштани дақиқии пайгирӣ ва шинохти объект, беҳтар намудани чораҳои амнияти умумии.
• Гирифтан View: Камераҳои сершумор барои эҷоди як танзимоти биниш стерео истифода мешаванд, ки иттилооти сеченака ва арзёбии умқиро имкон медиҳанд. Ин барои вазифаҳое ба монанди ошкор кардани монеаҳо дар мошинҳои мустақил, коркарди дақиқи объектҳо дар робототехника ва воқеияти мукаммали таҷрибаҳои воқеияти афзоишёфта муҳим аст.
• Сабткунаки кабина ва системаи оинаи камера: Сабткунаки кабинаи мошин бо камераҳои сершумор метавонад бо истифода аз як протсессор фарогирии бештарро таъмин кунад. Ба ҳамин монанд, системаи оинаи камера бо ду ё зиёда камера метавонад майдони ронандаро васеъ кунад view ва доғҳои нобиноро аз тамоми паҳлӯҳои мошин нест кунед.
• Тасвирҳои тиббӣ: Камераҳои сершуморро дар тасвири тиббӣ барои вазифаҳое ба мисли навигатсияи ҷарроҳӣ истифода бурдан мумкин аст, ки ба ҷарроҳон дурнамои гуногунро барои дақиқии бештар фароҳам меорад. Дар эндоскопия камераҳои сершумор имкон медиҳанд, ки узвҳои даруниро ҳамаҷониба тафтиш кунанд.
• Дронҳо ва тасвири ҳавоӣ: Дронҳо аксар вақт бо камераҳои сершумор муҷаҳҳаз мешаванд, то тасвирҳо ё видеоҳои баландсифатро аз кунҷҳои гуногун сабт кунанд. Ин дар барномаҳо, ба монанди аксбардории ҳавоӣ, мониторинги кишоварзӣ ва тадқиқи замин муфид аст.
• Бо пешрафти микропросессорҳо камераҳои сершуморро метавон ба як системаи ягонаи чип муттаҳид кард.
  (SoC) барои пешниҳоди ҳалли паймон ва муассир. AM62Ax SoC, бо коркарди баландсифати видео/биниш ва суръатбахшии омӯзиши амиқ, як дастгоҳи беҳтарин барои ҳолатҳои истифодаи дар боло зикршуда мебошад. Дастгоҳи дигари AM6x, AM62P барои барномаҳои баландсуръати дарунсохташудаи намоиши 3D сохта шудааст. AM3P, ки бо суръатбахшии графикаи 62D муҷаҳҳаз шудааст, метавонад ба осонӣ тасвирҳоро аз камераҳои сершумор бо ҳам пайваст кунад ва панорамаи баландсифатро тавлид кунад. view. Хусусиятҳои инноватсионии AM62A/AM62P SoC дар нашрияҳои гуногун, аз қабили [4], [5], [6] ва ғайра муаррифӣ шудаанд. Ин ёддошти барнома ин тавсифи хусусиятҳоро такрор намекунад, балки ба ҷои он ба ҳамгироии камераҳои сершумори CSI-2 ба замимаҳои дарунсохт дар AM62A/AM62P тамаркуз мекунад.
• Ҷадвали 1-1 фарқиятҳои асосии байни AM62A ва AM62P-ро дар мавриди коркарди тасвир нишон медиҳад.

Ҷадвали 1-1. Тафовут дар байни AM62A ва AM62P дар коркарди тасвир

SoC	AM62A	AM62P
Навъи камераи дастгирӣ	Бо ё бе ISP-и дарунсохт	Бо ISP-и дарунсохт
Маълумоти баромади камера	Хом / YUV / RGB	YUV/RGB
ISP HWA	Бале	Не
Омӯзиши амиқ HWA	Бале	Не
Графикаи 3-D HWA	Не	Бале

Пайваст кардани якчанд камераҳои CSI-2 ба SoC
Зерсистемаи камера дар AM6x SoC ҷузъҳои зеринро дар бар мегирад, тавре ки дар расми 2-1 нишон дода шудааст:

• Қабулкунандаи MIPI D-PHY: ҷараёнҳои видеоиро аз камераҳои беруна қабул мекунад, ки то 1.5 Гбит/с дар як хатти маълумот барои 4 хат дастгирӣ мекунад.
• CSI-2 Receiver (RX): ҷараёнҳои видеоиро аз қабулкунандаи D-PHY қабул мекунад ва мустақиман ҷараёнҳоро ба ISP мефиристад ё маълумотро ба хотираи DDR мепартояд. Ин модул то 16 канали виртуалиро дастгирӣ мекунад.
• SHIM: бастаи DMA, ки имкон медиҳад ҷараёнҳои гирифташуда ба хотира тавассути DMA фиристода шавад. Контекстҳои сершумори DMA-ро тавассути ин бастабандӣ сохтан мумкин аст, ки ҳар як контекст ба канали виртуалии қабулкунандаи CSI-2 мувофиқ аст.

Камераҳои сершуморро дар AM6x тавассути истифодаи каналҳои виртуалии CSI-2 RX дастгирӣ кардан мумкин аст, гарчанде ки дар SoC танҳо як интерфейси CSI-2 RX мавҷуд аст. Барои муттаҳид кардани ҷараёнҳои сершумори камера ва фиристодани онҳо ба як SoC як ҷузъи берунаи ҷамъкунандаи CSI-2 лозим аст. Ду намуди маҳлулҳои ҷамъоварикунандаи CSI-2 метавонанд истифода шаванд, ки дар бахшҳои зерин тавсиф шудаанд.

CSI-2 агрегатор бо истифода аз SerDes
Яке аз роҳҳои муттаҳид кардани ҷараёнҳои сершумори камера ин истифодаи ҳалли сериализатсия ва бесериализатсия (SerDes) мебошад. Маълумоти CSI-2 аз ҳар як камера тавассути сериализатор табдил дода мешавад ва тавассути кабел интиқол дода мешавад. Десериализатор тамоми маълумоти сериализатсияшударо аз ноқилҳо қабул мекунад (як кабел барои як камера), ҷараёнҳоро ба маълумоти CSI-2 бармегардонад ва сипас ҷараёнҳои омехташудаи CSI-2-ро ба интерфейси ягонаи CSI-2 RX дар SoC мефиристад. Ҳар як ҷараёни камера тавассути канали беназири виртуалӣ муайян карда мешавад. Ин ҳалли ҷамъоварӣ бартариҳои иловагии имкон медиҳад, ки пайвасти масофаи то 15 м аз камераҳо ба SoC.

Сериализаторҳо ва сериализаторҳои FPD-Link ё V3-Link (SerDes), ки дар AM6x Linux SDK дастгирӣ мешаванд, технологияҳои маъмултарин барои ин навъи ҳалли ҷамъоварии CSI-2 мебошанд. Ҳарду десериализаторҳои FPD-Link ва V3-Link каналҳои бозгашт доранд, ки метавонанд барои ирсоли сигналҳои ҳамоҳангсозии чаҳорчӯба барои ҳамоҳангсозии ҳамаи камераҳо истифода шаванд, тавре ки дар [7] шарҳ дода шудааст.
Дар расми 2-2 собиқ нишон дода шудаастample аз истифодаи SerDes барои пайваст кардани камераҳои сершумор ба як SoC ягонаи AM6x.

Собиқample аз ин ҳалли ҷамъоварӣ метавонад дар маҷмӯаи ҳалли Arducam V3Link Camera ёфт. Ин маҷмӯа дорои маркази deserializer мебошад, ки 4 ҷараёнҳои камераи CSI-2, инчунин 4 ҷуфт сериализаторҳои V3link ва камераҳои IMX219, аз ҷумла кабелҳои коаксиалии FAKRA ва кабелҳои 22-pin FPC-ро муттаҳид мекунад. Тарҳи истинод, ки баъдтар баррасӣ мешавад, дар ин маҷмӯа сохта шудааст.

Агрегатори CSI-2 бе истифодаи SerDes
Ин навъи агрегатор метавонад мустақиман бо камераҳои сершумори MIPI CSI-2 пайваст шавад ва маълумотро аз ҳама камераҳо ба як ҷараёни ягонаи CSI-2 ҷамъ кунад.

Дар расми 2-3 собиқ нишон дода шудаастampле аз чунин система. Ин навъи ҳалли ҷамъоварӣ ягон сериализатор/десериализаторро истифода намебарад, аммо бо масофаи максималии интиқоли маълумот CSI-2, ки то 30 см аст, маҳдуд аст. AM6x Linux SDK ин навъи агрегатори CSI-2-ро дастгирӣ намекунад

Даргиронидани камераҳои сершумор дар нармафзор

Архитектураи нармафзори зерсистемаи камера
Дар расми 3-1 диаграммаи блоки сатҳи баланди нармафзори системаи сабти камера дар AM62A/AM62P Linux SDK, ки ба системаи HW дар расми 2-2 мувофиқ аст, нишон дода шудааст.

• Ин меъмории нармафзор ба SoC имкон медиҳад, ки ҷараёнҳои сершумори камераро бо истифодаи SerDes, тавре ки дар расми 2-2 нишон дода шудааст, қабул кунад. FPD-Link/V3-Link SerDes ба ҳар як камера суроғаи беназири I2C ва канали виртуалӣ таъин мекунад. Як қабати беназири дарахти дастгоҳ бояд бо суроғаи беназири I2C барои ҳар як камера сохта шавад. Ронандаи CSI-2 RX ҳар як камераро бо истифода аз рақами ягонаи канали виртуалӣ эътироф мекунад ва контексти DMA дар як ҷараёни камера эҷод мекунад. Барои ҳар як контексти DMA гиреҳи видео сохта мешавад. Пас аз ҳар як камера маълумот бо истифода аз DMA ба хотира мувофиқан қабул ва нигоҳ дошта мешавад. Барномаҳои фазои корбар барои дастрасӣ ба маълумоти камера гиреҳҳои видеоии ба ҳар як камера мувофиқро истифода мебаранд. МисолampШартҳои истифодаи ин меъмории нармафзор дар боби 4 – Тарҳрезии истинод оварда шудаанд.
• Ҳар як драйвери мушаххаси сенсор, ки бо чаҳорчӯбаи V4L2 мувофиқ аст, метавонад дар ин меъморӣ васл ва бозӣ кунад. Дар бораи чӣ гуна ворид кардани драйвери сенсори нав ба Linux SDK ба [8] муроҷиат кунед.

Архитектураи нармафзори Image Pipeline

• AM6x Linux SDK чаҳорчӯбаи GStreamer (GST) -ро таъмин мекунад, ки онро дар фазои сер барои ҳамгироии ҷузъҳои коркарди тасвир барои барномаҳои гуногун истифода бурдан мумкин аст. Ба Accelerators Hardware (HWA) дар SoC, ба монанди Vision Pre-processing Accelerator (VPAC) ё ISP, рамзгузори видео/декодер ва муҳаррики ҳисоббарории омӯзиши амиқ тавассути GST дастрас карда мешаванд. plugins. Худи VPAC (ISP) дорои блокҳои сершумор аст, аз ҷумла зерсистемаи Imaging Vision (VISS), Ислоҳи таҳрифи линзаҳо (LDC) ва Multiscalar (MSC), ки ҳар кадоме ба плагини GST мувофиқанд.
• Дар расми 3-2 диаграммаи блоки лӯлаи тасвири маъмулӣ аз камера то рамзгузорӣ ё чуқур нишон дода шудааст
  барномаҳои омӯзишӣ дар AM62A. Барои тафсилоти бештар дар бораи ҷараёни додаҳо, ба ҳуҷҷатҳои EdgeAI SDK муроҷиат кунед.

Барои AM62P, лӯлаи тасвир соддатар аст, зеро дар AM62P ISP вуҷуд надорад.

Бо гиреҳи видеоие, ки барои ҳар як камера сохта шудааст, лӯлаи тасвири бар GStreamer асосёфта имкон медиҳад, ки дар як вақт коркарди якчанд вурудоти камераро (ба воситаи ҳамон интерфейси CSI-2 RX пайваст) коркард кунад. Тарҳи истинод бо истифодаи GStreamer барои замимаҳои бисёркамера дар боби оянда оварда шудааст.

Тарҳрезии истинод

Дар ин боб тарҳи истинод ба иҷро кардани замимаҳои сершумори камера дар AM62A EVM бо истифода аз Arducam V3Link Camera Solution Kit барои пайваст кардани 4 камераи CSI-2 ба AM62A ва муайянкунии объекти иҷрошаванда барои ҳамаи 4 камера пешниҳод карда мешавад.

Камераҳои дастгирӣшаванда
Маҷмӯаи Arducam V3Link ҳам бо камераҳои FPD-Link/V3-Link ва ҳам камераҳои Raspberry Pi-мувофиқи CSI-2 кор мекунад. Камераҳои зерин санҷида шудаанд:

• D3 Engineering D3RCM-IMX390-953
• Паланг Imaging LI-OV2312-FPDLINKIII-110H
• Камераҳои IMX219 дар маҷмӯаи ҳалли Arducam V3Link Camera

Насб кардани чаҳор камераи IMX219
Дастурҳои дар AM62A Starter Kit EVM овардашударо иҷро кунед, то дастури зуд оғоз кардани SK-AM62A-LP EVM (AM62A SK) ва ArduCam V3Link Camera Solutionро барои пайваст кардани камераҳо ба AM62A SK тавассути маҷмӯаи V3Link насб кунед. Боварӣ ҳосил кунед, ки пинҳо дар кабелҳои чандир, камераҳо, тахтаи V3Link ва AM62A SK ҳама дуруст мувофиқанд.

Тасвири 4-1 насберо нишон медиҳад, ки барои тарҳи истинод дар ин гузориш истифода шудааст. Қисмҳои асосӣ дар танзимот иборатанд аз:

• 1X Шӯрои SK-AM62A-LP EVM
• 1X Arducam V3Link d-ch Шӯрои адаптер
• Сими FPC, ки Arducam V3Link-ро ба SK-AM62A мепайвандад
• Адаптерҳои камераи 4X V3Link (сериализаторҳо)
• 4X кабелҳои коаксиалии RF барои пайваст кардани силсилаи V3Link ба маҷмӯаи V3Link d-ch
• Камераҳои 4X IMX219
• 4X CSI-2 кабелҳои 22-pin барои пайваст кардани камераҳо ба serializers
• Кабелҳо: сими HDMI, USB-C барои SK-AM62A-LP ва 12V қувваи барқ ​​барои маҷмӯаи V3Link d-ch)
• Дигар ҷузъҳои дар расми 4-1 нишон дода нашудаанд: корти micro-SD, сими micro-USB барои дастрасӣ ба SK-AM62A-LP ва Ethernet барои ҷараён

Танзими камераҳо ва интерфейси CSI-2 RX
Нармафзорро мувофиқи дастурҳое, ки дар дастури зуд оғоз кардани Arducam V3Link оварда шудаанд, насб кунед. Пас аз иҷро кардани скрипти танзимоти камера, setup-imx219.sh, формати камера, формати интерфейси CSI-2 RX ва масирҳо аз ҳар як камера то гиреҳи видеоии мувофиқ дуруст танзим карда мешаванд. Барои чор камераи IMX219 чаҳор гиреҳи видеоӣ сохта шудаанд. Фармони "v4l2-ctl -list-devices" ҳама дастгоҳҳои видеоии V4L2-ро тавре нишон медиҳад, ки дар зер нишон дода шудааст:

Дар зери tiscsi6rx 1 гиреҳи видео ва 2 гиреҳи медиа мавҷуданд. Ҳар як гиреҳи видео ба контексти DMA, ки аз ҷониби драйвери CSI2 RX ҷудо карда шудааст, мувофиқат мекунад. Аз 6 гиреҳи видео, 4-тоаш барои 4 камераи IMX219 истифода мешавад, тавре ки дар топологияи қубури медиа дар зер нишон дода шудааст:

Тавре ки дар боло нишон дода шудааст, воҳиди медиавии 30102000.ticsi2rx дорои 6 лавҳаи манбаъ мебошад, аммо танҳо 4-тои аввал истифода мешаванд, ки ҳар кадом барои як IMX219. Топологияи қубури медиавӣ инчунин метавонад ба таври графикӣ тасвир карда шавад. Барои тавлиди нуқта фармони зеринро иҷро кунед file:

Пас фармони зерро дар компютери мизбони Linux иҷро кунед, то PNG эҷод кунед file:

Расми 4-2 тасвирест, ки бо истифода аз фармонҳои дар боло додашуда сохта шудааст. Қисмҳои меъмории нармафзори расми 3-1ро дар ин график дидан мумкин аст.

Ҷараён аз чор камера
Бо дуруст насб кардани сахтафзор ва нармафзор, барномаҳои сершумори камера метавонанд аз фазои корбар кор кунанд. Барои AM62A, ISP бояд барои тавлиди сифати хуби тасвир танзим карда шавад. Барои чӣ гуна иҷро кардани танзими ISP ба Дастури танзими ISP AM6xA муроҷиат кунед. Фаслҳои зерин пешниҳод мекунандampҶараёни маълумоти камера ба экран, интиқоли маълумоти камера ба шабака ва нигоҳ доштани маълумоти камера files.

Ҷараёни маълумоти камера барои намоиш
Татбиқи асосии ин системаи бисёркамераҳо ҷараён додани видео аз ҳама камераҳо ба дисплейе, ки ба як SoC пайваст аст, мебошад. Дар зер як лӯлаи GStreamer собиқ астampҶараёни чаҳор IMX219 ба экран (рақамҳои гиреҳи видео ва рақамҳои v4l-subdev дар лӯла эҳтимолан аз бозсозӣ ба бозсозӣ тағйир меёбанд).

Ҷараёни маълумоти камера тавассути Ethernet
Ба ҷои ҷараён ба дисплейе, ки ба як SoC пайваст аст, маълумоти камераро инчунин тавассути Ethernet интиқол додан мумкин аст. Ҷониби қабулкунанда метавонад ё протсессори дигари AM62A/AM62P ё компютери мизбон бошад. Дар зер як собиқ астample барои ҷараён додани маълумоти камера тавассути Ethernet (бо истифода аз ду камера барои содда) (ба плагини рамзгузор, ки дар қубур истифода мешавад, таваҷҷӯҳ кунед):

Дар зер як собиқ астampгирифтани маълумоти камера ва ҷараён ба дисплей дар протсессори дигари AM62A/AM62P:

Нигоҳ доштани маълумоти камера ба Files
Ба ҷои ҷараён ба экран ё тавассути шабака, маълумоти камераро метавон дар маҳаллӣ нигоҳ дошт fileс. Қубури зер маълумоти ҳар як камераро ба a file (бо истифода аз ду камера ҳамчун собиқample барои соддагӣ).

Мулоҳиза оид ба омӯзиши амиқ

AM62A бо суръатбахшии омӯзиши амиқ (C7x-MMA) бо то ду TOPS муҷаҳҳаз шудааст, ки қодиранд намудҳои гуногуни моделҳои омӯзиши амиқро барои тасниф, муайянкунии объект, сегментатсияи семантикӣ ва ғайра иҷро кунанд. Ин бахш нишон медиҳад, ки чӣ тавр AM62A метавонад дар як вақт чаҳор модели омӯзиши амиқро дар чаҳор канали гуногуни камера иҷро кунад.

Интихоби модел
EdgeAI-ModelZoo-и TI садҳо моделҳои замонавиро пешкаш мекунад, ки аз чаҳорчӯбаи омӯзишии аслии худ ба формати ҳамбастаи дӯстона табдил/содир карда мешаванд, то онҳо метавонанд ба суръатбахшии омӯзиши амиқи C7x-MMA бор карда шаванд. Модели таҳлилгари ба абр асосёфтаи Edge AI Studio як асбоби ба осонӣ истифодашавандаи "Интихоби модел" -ро таъмин мекунад. Он ба таври динамикӣ нав карда мешавад, то ҳамаи моделҳои дар TI EdgeAI-ModelZoo дастгирӣшударо дар бар гирад. Восита таҷрибаи қаблиро талаб намекунад ва интерфейси ба осонӣ истифодашавандаро барои ворид кардани хусусиятҳои зарурӣ дар модели дилхоҳ таъмин мекунад.

TFL-OD-2000-ssd-mobV1-coco-mlperf барои ин озмоиши амиқи омӯзиши бисёркамераҳо интихоб шудааст. Ин модели муайянкунии бисёр объектҳо дар чаҳорчӯбаи TensorFlow бо қарори вуруди 300×300 таҳия шудааст. Ҷадвали 4-1 хусусиятҳои муҳими ин моделро ҳангоми омӯзиш дар маҷмӯи маълумоти cCOCO бо тақрибан 80 синфҳои гуногун нишон медиҳад.

Ҷадвали 4-1. Хусусиятҳои барҷастаи модели TFL-OD-2000-ssd-mobV1-coco-mlperf.

Модели	Вазифа	Резолюция	FPS	мАП 50% Дақиқӣ дар COCO	Нигоҳдорӣ/Чорчӯба (мс)	DDR BW Истифода (MB/ Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Муайянкунии бисёр объектҳо	300×300	~152	15.9	6.5	18.839

Танзимоти қубур
Дар расми 4-3 лӯлаи омӯзиши амиқи 4 камераи GStreamer нишон дода шудааст. TI маҷмӯи GStreamer-ро пешниҳод мекунад plugins ки имкон медиҳад, ки баъзе коркарди ВАО ва хулосаи омӯзиши амиқ ба суръатбахшҳои сахтафзор. Баъзе собикampбаъзе аз инҳо plugins tiovxisp, tiovxmultiscaler, tiovxmosaic ва tidlinferer дохил мешаванд. Қубур дар расми 4-3 ҳамаи заруриро дар бар мегирад plugins барои лӯлаи бисёрқабата GStreamer барои вуруди 4-камера, ки ҳар кадоми онҳо раванди пешакии медиа, хулосаи омӯзиши амиқ ва пас аз раванд доранд. Такроршуда plugins барои ҳар як роҳи камера барои намоиши осонтар дар график ҷойгир карда шудаанд.
Захираҳои сахтафзори мавҷуда дар байни чор роҳи камера баробар тақсим карда мешаванд. Масалан, AM62A дорои ду мултипликатори тасвир аст: MSC0 ва MSC1. Қубур ба таври возеҳ MSC0-ро барои коркарди роҳҳои камераи 1 ва камераи 2 ҷудо мекунад, дар ҳоле ки MSC1 ба камераи 3 ва камераи 4 бахшида шудааст.

Натиҷаи чаҳор қубури камера бо истифода аз плагини tiovxmosaic хурд карда мешавад ва якҷоя карда мешавад. Натиҷа дар як экран нишон дода мешавад. Дар расми 4-4 баромади чор камера бо модели омӯзиши амиқ, ки бо муайянкунии объект кор мекунад, нишон медиҳад. Ҳар як қубур (камера) бо 30 FPS ва ҳамагӣ 120 FPS кор мекунад.

Минбаъд скрипти пурраи лӯла барои мисоли истифодаи амиқи чандкамера дар расми 4-3 оварда шудааст.

Таҳлили иҷроиш

Насбкунӣ бо чаҳор камера бо истифода аз панели V3Link ва AM62A SK дар сенарияҳои гуногуни барнома озмуда шуд, аз ҷумла намоиши мустақим дар экран, ҷараён тавассути Ethernet (чор канали UDP), сабт ба 4 алоҳида fileс, ва бо хулосаи омӯзиши амиқ. Дар ҳар як таҷриба, мо суръати чаҳорчӯба ва истифодаи ядроҳои CPU-ро барои омӯхтани имкониятҳои тамоми система назорат мекардем.

Тавре ки қаблан дар расми 4-4 нишон дода шудааст, лӯлаи омӯзиши амиқ плагини tiperfoverlay GStreamer-ро барои нишон додани сарбории асосии CPU ҳамчун диаграммаи сатри поёни экран истифода мебарад. Бо нобаёнӣ, график ҳар ду сония нав карда мешавад, то борҳоро ҳамчун фоизи истифода нишон диҳадtagд. Илова ба плагини tiperfoverlay GStreamer, асбоби perf_stats як варианти дуюмест барои нишон додани кори аслӣ мустақиман дар терминал бо имкони захира кардан дар file. Ин асбоб дар муқоиса бо tTiperfoverlayas дақиқтар аст, ки охирин ба ядроҳои ARMm ва DDR бори иловагӣ илова мекунад, то графикро кашад ва онро дар экран ҷойгир кунад. Воситаи perf_stats асосан барои ҷамъоварии натиҷаҳои истифодаи сахтафзор дар ҳама ҳолатҳои санҷишии дар ин ҳуҷҷат нишондодашуда истифода мешавад. Баъзе аз ядроҳои муҳими коркард ва суръатбахшоне, ки дар ин санҷишҳо омӯхта шудаанд, протсессори асосӣ (чор ядрои A53 Arm @ 1.25 ГГц), суръатбахшии омӯзиши амиқ (C7x-MMA @ 850 МГс), VPAC (ISP) бо VISS ва мултипликаторҳо (MSC0 ва MSC1) ва амалиёти DDR мебошанд.

Ҷадвали 5-1 кор ва истифодаи захираҳоро ҳангоми истифодаи AM62A бо чаҳор камера барои се ҳолати истифода, аз ҷумла ҷараён додани чаҳор камера ба экран, ҷараён тавассути Ethernet ва сабт ба чаҳор алоҳида нишон медиҳад. fileс. Дар ҳар як ҳолати истифода ду санҷиш гузаронида мешавад: танҳо бо камера ва бо хулосаи омӯзиши амиқ. Илова бар ин, сатри аввал дар ҷадвали 5-1 истифодаи сахтафзорро нишон медиҳад, вақте ки танҳо системаи пардозандаро дар AM62A бе ягон замимаи корбар кор мекард. Ин ҳамчун асос барои муқоиса ҳангоми арзёбии истифодаи сахтафзор дар ҳолатҳои санҷишӣ истифода мешавад. Тавре ки дар ҷадвал нишон дода шудааст, чаҳор камераи дорои омӯзиши амиқ ва экрани экран ҳар кадом бо 30 FPS кор мекарданд ва ҳамагӣ 120 FPS барои чор камера. Ин суръати баланди кадрҳо танҳо бо 86% суръатбахши омӯзиши амиқ (C7x-MMA) иқтидори пурра ба даст меояд. Илова бар ин, қайд кардан муҳим аст, ки суръатбахшии омӯзиши амиқ дар ин таҷрибаҳо ба ҷои 850 МГс дар 1000 МГс кор мекард, ки танҳо 85% -и ҳадди аксарро ташкил медиҳад.

Ҷадвали 5-1. Иҷрои кор (FPS) ва истифодаи захираҳои AM62A ҳангоми истифода бо 4 камераи IMX219 барои намоиши экран, ҷараёни Ethernet, сабт ба Fileс, ва Иҷрои хулосаи омӯзиши амиқ

Ариза n	Қубур (амал )	Натиҷа	FPS миёнаи лӯлаи с	FPS умумии	MPUs A53s @ 1.25 ГГц [%]	MCU R5 [%]	DLA (C7x-MMA) @ 850 МГс [%]	VISS [%]	MSC0 [%]	MSC1 [%]	ДДР Рд [МБ/с]	ДДР Wr [MB/s]	ДДР Ҳамагӣ [МБ/с]
Барнома нест	Сатҳи асосӣ Амалиёт нест	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Камера танҳо	Ҷараён ба экран	Экран	30	120	12	12	0	70	61	60	1015	757	1782
	Ҷараён тавассути Ethernet	UDP: 4 портҳо 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Сабт кардан ба files	4 fileс 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Кам бо омӯзиши амиқ	Омӯзиши амиқ: Муайянкунии объект MobV1- coco	Экран	30	120	38	25	86	71	85	82	2926	1676	4602
	Омӯзиши амиқ: Муайянкунии объект MobV1- coco ва Stream over Ethernet	UDP: 4 портҳо 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Омӯзиши амиқ: Муайянкунии объект MobV1- коко ва сабт ба files	4 fileс 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Хулоса
Ин гузориши барнома чӣ гуна татбиқ кардани замимаҳои бисёркамераро дар оилаи дастгоҳҳои AM6x тавсиф мекунад. Дар гузориш тарҳи истинод ба Arducam V3Link Camera Solution ва AM62A SK EVM оварда шудааст, ки бо якчанд замимаҳои камера бо истифода аз чаҳор камераи IMX219, ба монанди ҷараён ва ошкоркунии объект. Истифодабарандагон ташвиқ карда мешаванд, ки маҷмӯи ҳалли V3Link Camera Solution-ро аз Arducam харидорӣ кунанд ва ин қаблиро такрор кунанд.amples. Дар гузориш инчунин таҳлили муфассали кори AM62A ҳангоми истифодаи чор камера дар конфигуратсияҳои гуногун, аз ҷумла намоиш дар экран, ҷараён тавассути Ethernet ва сабт ба fileс. Он инчунин қобилияти AM62A-ро барои анҷом додани хулосаи омӯзиши амиқ дар чаҳор ҷараёни камераҳои алоҳида дар мувозӣ нишон медиҳад. Агар ягон савол дар бораи иҷро кардани ин собиқ вуҷуд дошта бошадamples, дар форуми TI E2E дархост пешниҳод кунед.

Иқтибосҳо

1. AM62A маҷмӯаи Starter EVM Дастури оғози зуд
2. Дастури зуд оид ба ҳалли камераи ArduCam V3Link
3. Ҳуҷҷатҳои Edge AI SDK барои AM62A
4. Камераҳои Smart Edge AI бо истифода аз протсессори энергияи каммасраф AM62A
5. Системаҳои оинаи камера дар AM62A
6. Системаҳои Мониторинги Ронандагон ва Ҷойгиршавӣ дар AM62A
7. Замимаи камераи чаҳоргона барои гирду атроф View ва системаҳои камераи CMS
8. Академияи AM62Ax Linux оид ба фаъол кардани сенсори CIS-2
9. Edge AI ModelZoo
10. Edge AI Studio
11. Воситаи Perf_stats

Қисмҳои TI, ки дар ин ариза зикр шудаанд Эзоҳ:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

ОГОҲИИ МУҲИМ ВА РАДДИ РАД

TI МАЪЛУМОТ ДАР БОРАИ ТЕХНИКӢ ВА ЭЪТИМОСӢ (аз ҷумла варақаҳои маълумот), ЗАХИРАҲОИ лоињакашї (аз љумла лоињањои истинодї), МАРХАМАТ ѐ ДИГАР МАСЛИЊАТЊОИ лоињакашї, WEB АСБОҲ, МАЪЛУМОТ ДАР БОРАИ БЕХАТАРӢ ВА ДИГАР ЗАХИРАҲО "Чунон ки ҳаст" ва бо ҲАМАИ камбудиҳо ва ТАМОМИ КАФОЛАТҲО, ОЗОҲӢ ВА МАСЪАЛӢ, АЗ ҶУМЛА БЕ МАҲДУДИЯТ ҲАМГАР КАФОЛАТҲОИ МАСЪАЛАҲОИ ТИҶОРАТӢ ѐ КОРҲО РАД МЕКУНАД ПАЙН КАРДАНИ ХУКУКИ МОЛИКИЯТИ ЗИНГИРИИ ШАХСИ СЕЮМ .

Ин захираҳо барои таҳиягарони бомаҳорат, ки бо маҳсулоти TI тарроҳӣ мекунанд, пешбинӣ шудаанд. Шумо танҳо масъул ҳастед

1. интихоби маҳсулоти мувофиқи TI барои дархости шумо,
2. тарҳрезӣ, тасдиқ ва санҷиши аризаи шумо ва
3. кафолат додани он, ки аризаи шумо ба стандартҳои мувофиқ ва ҳама гуна дигар талаботҳои бехатарӣ, амниятӣ, меъёрӣ ё дигар талабот мувофиқат мекунад.

Ин захираҳо бояд бидуни огоҳӣ тағир дода шаванд. TI ба шумо иҷозат медиҳад, ки ин захираҳоро танҳо барои таҳияи барномае истифода баред, ки маҳсулоти TI-ро, ки дар манбаъ тавсиф шудааст, истифода мебарад. Нашри дигар ва намоиши ин захираҳо манъ аст. Ягон иҷозатнома ба ягон ҳуқуқи моликияти зеҳнии TI ё ба ягон ҳуқуқи моликияти зеҳнии шахсони сеюм дода намешавад. TI масъулиятро рад мекунад ва шумо TI ва намояндагони онро аз ҳама гуна даъвоҳо, хисорот, хароҷот, талафот ва ӯҳдадориҳое, ки аз истифодаи шумо аз ин захираҳо бармеоянд, пурра ҷуброн хоҳед кард.

Маҳсулоти TI тибқи шартҳои фурӯши TI ё дигар шартҳои мувофиқ, ки дар онҳо дастрасанд, таъмин карда мешаванд ti.com ё дар якҷоягӣ бо чунин маҳсулоти TI таъмин карда мешавад. Таъмини TI бо ин захираҳо кафолатҳои дахлдори TI ё радди кафолат барои маҳсулоти TI-ро васеъ намекунад ё ба таври дигар тағир намедиҳад.

TI ба ҳама шартҳои иловагӣ ё гуногуне, ки шумо пешниҳод кардаед, эътироз мекунад ва рад мекунад.

ОГОҲИИ МУҲИМ

• Суроғаи почта: Texas Instruments, Почтаи почта 655303, Даллас, Техас 75265
• Copyright © 2024, Texas Instruments Incorporated

Саволҳои зуд-зуд додашаванда

Савол: Оё ман метавонам ягон намуди камераро бо оилаи дастгоҳҳои AM6x истифода барам?

Оилаи AM6x намудҳои гуногуни камераро дастгирӣ мекунад, аз ҷумла онҳое, ки ISP-и дарунсохт ё бидуни он. Барои тафсилоти бештар дар бораи намудҳои камераҳои дастгирӣшуда ба мушаххасот муроҷиат кунед.

: Фарқиятҳои асосии байни AM62A ва AM62P дар коркарди тасвир кадомҳоянд?

Вариантҳои калидӣ намудҳои пуштибонии камера, маълумоти баромади камера, мавҷудияти ISP HWA, Deep Learning HWA ва 3-D Graphics HWA иборатанд. Барои муқоисаи муфассал ба бахши мушаххасот муроҷиат кунед.

 

Ҳуҷҷатҳо / Сарчашмаҳо

Texas Instruments AM6x як камераи сершуморро таҳия мекунад [pdf] Дастури корбар AM62A, AM62P, AM6x таҳияи камераҳои сершумор, AM6x, таҳияи камераҳои сершумор, камераҳои сершумор, камера

Иқтибосҳо

• Дастури корбар