Texas Instruments AM6x бир нече камераны иштеп чыгуу боюнча колдонмо

Коопсуздук көзөмөлү: Көзөмөлдүн камтылышын, объектке көз салууну жана таануунун тактыгын жакшыртат.
Курчап View: Тоскоолдуктарды аныктоо жана объектти манипуляциялоо сыяктуу тапшырмалар үчүн стерео көрүнүштү иштетет.

Кабинанын жазгыч жана камера күзгү системасы: Кеңейтилген жабууну камсыздайт жана сокур тактарды жок кылат.
Медициналык сүрөттөө: Хирургиялык навигацияда жана эндоскопияда жакшыртылган тактыкты сунуштайт.

Дрондор жана абадан сүрөткө тартуу: Ар кандай колдонмолор үчүн ар кандай бурчтан жогорку чечилиштеги сүрөттөрдү тартыңыз.

Бир нече CSI-2 камераларын SoCге туташтыруу:
SoCге бир нече CSI-2 камераларын туташтыруу үчүн, колдонуучу колдонмосунда берилген көрсөтмөлөрдү аткарыңыз. Ар бир камеранын SoCдеги белгиленген портторго туура тегиздөөсүн жана туташуусун камсыз кылыңыз.

Колдонмо эскертүүсү
AM6x боюнча бир нече камералуу колдонмолорду иштеп чыгуу

Цзянчжун Сю, Кутайба Салех

АНСТРАКТ
Бул отчет түзмөктөрдүн AM2x үй-бүлөсүндө бир нече CSI-6 камераларын колдонуу менен колдонмолорду иштеп чыгууну сүрөттөйт. AM4A SoCдеги 62 камерада терең үйрөнүү менен объектти аныктоонун эталондук дизайны өндүрүмдүүлүктүн анализи менен берилген. Дизайндын жалпы принциптери AM2x жана AM62P сыяктуу CSI-62 интерфейси бар башка SoCтерге колдонулат.

Introduction

Камтылган камералар заманбап көрүү системаларында маанилүү ролду ойнойт. Системада бир нече камераны колдонуу бул системалардын мүмкүнчүлүктөрүн кеңейтет жана бир камера менен мүмкүн болбогон мүмкүнчүлүктөрдү иштетет. Төмөндө кээ бир эксampбир нече камтылган камераларды колдонгон колдонмолор:

Коопсуздук Көзөмөл: Стратегиялык жайгаштырылган бир нече камералар комплекстүү көзөмөл камтууну камсыз кылат. Алар панораманы иштетет viewс, сокур тактарды азайтуу, жана объект көзөмөлдөө жана таануу тактыгын жогорулатуу, жалпы коопсуздук чараларын жакшыртуу.
Курчап View: Бир нече камералар үч өлчөмдүү маалыматты жана тереңдикти баалоого мүмкүндүк берүүчү стерео көрүнүш орнотууларын түзүү үчүн колдонулат. Бул автономдуу унаалардагы тоскоолдуктарды аныктоо, робототехникада объектилерди так манипуляциялоо жана кеңейтилген реалдуулук тажрыйбаларынын күчөтүлгөн реалдуулугу сыяктуу милдеттер үчүн өтө маанилүү.

Кабинаны жазгыч жана камеранын күзгү системасы: Бир нече камералары бар унаа кабинасынын жазгычы бир процессордун жардамы менен көбүрөөк камтууну камсыздай алат. Ошо сыяктуу эле, эки же андан көп камералуу камера күзгү системасы айдоочунун талаасын кеңейте алат view жана унаанын бардык тараптан сокур тактарды жок кылуу.
Медициналык сүрөттөө: Бир нече камераларды медициналык сүрөттөөдө хирургиялык навигация сыяктуу милдеттерди аткаруу үчүн колдонсо болот, хирургдарга жакшыртылган тактык үчүн бир нече көз караш менен камсыз кылуу. Эндоскопияда бир нече камералар ички органдарды кылдат текшерүүгө мүмкүндүк берет.

Дрондор жана абадан сүрөт тартуу: Дрондор көбүнчө ар кандай бурчтан жогорку чечилиштеги сүрөттөрдү же видеолорду тартуу үчүн бир нече камералар менен жабдылган. Бул аэрофотосүрөткө тартуу, айыл чарба мониторинги жана жерди изилдөө сыяктуу колдонмолордо пайдалуу.
Микропроцессорлордун өнүгүшү менен бир нече камераларды бир системага бириктирүүгө болот.
(SoC) компакттуу жана натыйжалуу чечимдерди камсыз кылуу. AM62Ax SoC, жогорку өндүрүмдүү видео/көрүнүү иштетүү жана терең үйрөнүү ылдамдатуу менен, жогоруда айтылган колдонуу учурлары үчүн идеалдуу түзүлүш болуп саналат. Дагы бир AM6x түзмөгү, AM62P, жогорку өндүрүмдүүлүктөгү 3D дисплей тиркемелери үчүн курулган. 3D графикалык ылдамдатуу менен жабдылган AM62P бир нече камерадагы сүрөттөрдү оңой эле бириктирип, жогорку чечилиштеги панораманы чыгара алат. view. AM62A/AM62P SoCтин инновациялык өзгөчөлүктөрү [4], [5], [6] ж.б.у.с. сыяктуу ар кандай басылмаларда берилген. Бул колдонмо эскертүүсү ал функциялардын сүрөттөмөлөрүн кайталабайт, тескерисинче, бир нече CSI-2 камераларын AM62A/AM62P орнотулган көрүү колдонмолоруна интеграциялоого багытталган.

1-1-таблица AM62A жана AM62P ортосундагы негизги айырмачылыктарды көрсөтөт.

Таблица 1-1. Сүрөт иштетүүдө AM62A жана AM62P ортосундагы айырмачылыктар

SoC	AM62A	AM62P
Колдоого алынган камера түрү	Камтылган ISP менен же жок	Камтылган ISP менен
Камеранын чыгыш маалыматтары	Чийки/YUV/RGB	YUV/RGB
ISP HWA	Ооба	Жок
Deep Learning HWA	Ооба	Жок
3-D Graphics HWA	Жок	Ооба

Бир нече CSI-2 камераларын SoCге туташтыруу
AM6x SoCдеги Камера подсистемасы 2-1-сүрөттө көрсөтүлгөндөй, төмөнкү компоненттерди камтыйт:

MIPI D-PHY кабыл алуучу: тышкы камералардан видео агымдарды кабыл алат, 1.5 тилке үчүн маалымат тилкесинде 4 Гбит/сек чейин колдойт.

CSI-2 Receiver (RX): D-PHY кабыл алгычынан видео агымдарды кабыл алат жана агымдарды түздөн-түз ISPге жөнөтөт же маалыматтарды DDR эстутумуна таштайт. Бул модуль 16га чейин виртуалдык каналдарды колдойт.
SHIM: тартылган агымдарды DMA аркылуу эс тутумга жөнөтүүгө мүмкүндүк берген DMA орогуч. Бул орогуч аркылуу бир нече DMA контексттерин түзсө болот, ар бир контекст CSI-2 кабылдагычтын виртуалдык каналына туура келет.

SoCде бир гана CSI-6 RX интерфейси бар болсо да, CSI-2 RX виртуалдык каналдарын колдонуу аркылуу AM2xте бир нече камералар колдоого алынышы мүмкүн. Бир нече камера агымдарын бириктирип, аларды бир SoCге жөнөтүү үчүн тышкы CSI-2 топтоо компоненти керек. Кийинки бөлүмдөрдө сүрөттөлгөн CSI-2 бириктирүүчү чечимдердин эки түрүн колдонсо болот.

SerDes колдонуу менен CSI-2 агрегатор
Бир нече камера агымдарын бириктирүүнүн бир жолу сериялаштыруу жана сериядан чыгаруу (SerDes) чечимди колдонуу болуп саналат. Ар бир камерадан алынган CSI-2 маалыматтар сериализатор тарабынан өзгөртүлүп, кабель аркылуу өткөрүлүп берилет. Десериализатор кабелдерден өткөрүлүп берилген бардык сериялаштырылган маалыматтарды кабыл алат (ар бир камерага бир кабель), агымдарды кайра CSI-2 маалыматтарына айландырат, андан кийин CSI-2 агымын SoCдеги жалгыз CSI-2 RX интерфейсине жөнөтөт. Ар бир камера агым уникалдуу виртуалдык канал менен аныкталат. Бул бириктирүүчү чечим камералардан SoCге 15 метрге чейинки аралыкка туташуу мүмкүнчүлүгүн берет.

AM3x Linux SDK колдоого алынган FPD-Link же V6-Link сериализаторлору жана сериализаторлору (SerDes), CSI-2 топтоо чечиминин ушул түрү үчүн эң популярдуу технологиялар. FPD-Link жана V3-Link сериализаторлорунда [7] түшүндүрүлгөндөй, бардык камераларды синхрондоштуруу үчүн кадр синхрондоштуруу сигналдарын жөнөтүү үчүн колдонула турган арткы каналдар бар.
2-2-сүрөттө мурункуampбир AM6x SoC бир нече камераларды туташтыруу үчүн SerDes колдонуу.

МурункуampБул бириктирүүчү чечимди Arducam V3Link Camera Solution комплектинен тапса болот. Бул комплектте 4 CSI-2 камера агымын, ошондой эле 4 жуп V3link сериализаторлорун жана IMX219 камераларын, анын ичинде FAKRA коаксиалдык кабелдерин жана 22-пин FPC кабелдерин бириктирген сериализатор хабы бар. Кийинчерээк талкууланган маалымдама дизайны бул комплектте курулган.

SerDes колдонбостон CSI-2 агрегатору
Агрегатордун бул түрү бир нече MIPI CSI-2 камералары менен түз байланышып, бардык камералардан алынган маалыматтарды бир CSI-2 чыгаруу агымына топтой алат.

2-3-сүрөттө мурункуampмындай системанын ле. Агрегациялоочу чечимдин бул түрү эч кандай сериализаторду/десериализаторду колдонбойт, бирок CSI-2 берилиштерин өткөрүүнүн максималдуу аралыгы менен чектелет, ал 30 смге чейин. AM6x Linux SDK CSI-2 агрегаторунун бул түрүн колдобойт

Программада бир нече камераларды иштетүү

Камера подсистемасынын программалык архитектурасы
3-1-сүрөттө 62-62-сүрөттөгү HW системасына туура келген AM2A/AM2P Linux SDKдагы камерага тартуу тутумунун программалык камсыздоосунун жогорку деңгээлдеги блок схемасы көрсөтүлгөн.

Бул программалык камсыздоонун архитектурасы SoCге 2-2-сүрөттө көрсөтүлгөндөй, SerDes колдонуу менен бир нече камера агымдарын кабыл алууга мүмкүндүк берет. FPD-Link/V3-Link SerDes ар бир камерага уникалдуу I2C дарегин жана виртуалдык каналды дайындайт. Ар бир камера үчүн уникалдуу I2C дареги менен уникалдуу түзмөк дарагынын катмары түзүлүшү керек. CSI-2 RX драйвери уникалдуу виртуалдык канал номерин колдонуу менен ар бир камераны тааныйт жана камера агымына DMA контекстти түзөт. Ар бир DMA контексти үчүн видео түйүн түзүлөт. Андан кийин ар бир камерадан маалыматтар кабыл алынат жана тиешелүү түрдө эс тутумга DMA аркылуу сакталат. Колдонуучу мейкиндик колдонмолору камера маалыматтарына жетүү үчүн ар бир камерага тиешелүү видео түйүндөрдү колдонушат. МисampБул программалык камсыздоонун архитектурасын колдонуунун жолдору 4-бөлүмдө берилген – Шилтеме дизайн.
V4L2 алкагына ылайык келген ар кандай конкреттүү сенсор драйвери бул архитектурада сайып, ойной алат. Жаңы сенсор драйверин Linux SDKга кантип киргизүү керектиги жөнүндө [8] караңыз.

Image Pipeline Software Architecture

AM6x Linux SDK GStreamer (GST) негизин камсыз кылат, ал ар кандай колдонмолор үчүн сүрөт иштетүүчү компоненттерди бириктирүү үчүн ser мейкиндигинде колдонулушу мүмкүн. Vision Pre-processing Accelerator (VPAC) же ISP, видео коддогуч/декодер жана терең үйрөнүү эсептөө кыймылдаткычы сыяктуу SoCдеги аппараттык акселераторлорго (HWA) GST аркылуу кирүүгө болот. plugins. VPAC (ISP) өзү бир нече блокторго ээ, анын ичинде Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) жана Multiscalar (MSC), ар бири GST плагинине туура келет.

3-2-сүрөттө камерадан коддоо же тереңдикке чейинки типтүү сүрөт түтүгүнүн блок схемасы көрсөтүлгөн
AM62A боюнча окуу колдонмолору. Маалыматтардын акырына чейин агымы жөнүндө көбүрөөк маалымат алуу үчүн EdgeAI SDK документтерин караңыз.

AM62P үчүн сүрөт түтүгү жөнөкөй, анткени AM62Pде ISP жок.

Камералардын ар бири үчүн түзүлгөн видео түйүн менен GStreamer негизиндеги сүрөт түтүгү бир эле учурда бир нече камера киргизүүнү (ошол эле CSI-2 RX интерфейси аркылуу туташтырылган) иштетүүгө мүмкүндүк берет. Көп камералуу тиркемелер үчүн GStreamer колдонгон маалымдама дизайны кийинки бөлүмдө берилген.

Шилтеме дизайн

Бул бөлүмдө Arducam V62Link Camera Solution Kit 3 CSI-4 камерасын AM2Aга туташтыруу жана бардык 62 камералар үчүн объектти аныктоону колдонуу менен AM4A EVMде бир нече камералуу тиркемелерди иштетүүнүн маалымдама дизайны сунушталат.

Колдоого алынган камералар
Arducam V3Link комплекти FPD-Link/V3-Link негизиндеги камералар жана Raspberry Pi шайкеш CSI-2 камералары менен иштейт. Төмөнкү камералар сыналган:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

Arducam V219Link Camera Solution топтомундагы IMX3 камералары

Төрт IMX219 камерасын орнотуу
V62Link комплекти аркылуу камераларды AM62A SKга туташтыруу үчүн SK-AM62A-LP EVM (AM3A SK) жана ArduCam V62Link Камера Чечиминин Ыкчам баштоо колдонмосун орнотуу үчүн AM3A Starter Kit EVM Quick Start Guide берилген нускамаларды аткарыңыз. Ийилүүчү кабелдердеги, камералардагы, V3Link тактасындагы жана AM62A SKдагы төөнөгүчтөрдүн баары туура тегизделгенин текшериңиз.

4-1-сүрөт бул отчетто маалымдама дизайны үчүн колдонулган орнотууну көрсөтөт. орнотуунун негизги компоненттери төмөнкүлөрдү камтыйт:

1X SK-AM62A-LP EVM тактасы
1X Arducam V3Link d-ch адаптер тактасы
Arducam V3Linkти SK-AM62Aга туташтыруучу FPC кабели

4X V3Link камера адаптерлери (сериализаторлор)
V4Link сериализаторлорун V3Link d-ch комплектине туташтыруу үчүн 3X RF коаксиалдык кабелдери
4X IMX219 камералары

4X CSI-2 22 пин кабелдери камераларды сериализаторлорго туташтыруу үчүн
Кабельдер: HDMI кабели, SK-AM62A-LP кубаттандыруу үчүн USB-C жана V12Link d-ch комплекти үчүн 3V кубат)
4-1-сүрөттө көрсөтүлбөгөн башка компоненттер: микро-SD карта, SK-AM62A-LP кирүү үчүн микро-USB кабели жана агым үчүн Ethernet

Камераларды жана CSI-2 RX интерфейсин конфигурациялоо
Arducam V3Link Ыкчам баштоо колдонмосунда берилген көрсөтмөлөргө ылайык программаны орнотуңуз. Камераны орнотуу сценарийин, setup-imx219.sh иштеткенден кийин, камеранын форматы, CSI-2 RX интерфейс форматы жана ар бир камерадан тиешелүү видео түйүнгө чейинки маршруттар туура конфигурацияланат. Төрт IMX219 камерасы үчүн төрт видео түйүн түзүлөт. "v4l2-ctl -list-devices" буйругу төмөндө көрсөтүлгөндөй, бардык V4L2 видео түзмөктөрүн көрсөтөт:

Tiscsi6rx астында 1 видео түйүн жана 2 медиа түйүн бар. Ар бир видео түйүн CSI2 RX драйвери тарабынан бөлүнгөн DMA контекстине туура келет. Төмөндөгү медиа түтүк топологиясында көрсөтүлгөндөй, 6 видео түйүндөрдүн ичинен 4 IMX4 камерасы үчүн колдонулат:

Жогоруда көрсөтүлгөндөй, 30102000.ticsi2rx медиа объектисинде 6 булак тактасы бар, бирок биринчи 4 гана колдонулат, алардын ар бири бир IMX219 үчүн. Медиа түтүк топологиясын графикалык түрдө да көрсөтсө болот. Чекит түзүү үчүн төмөнкү буйрукту аткарыңыз file:

Андан кийин PNG түзүү үчүн Linux хост компьютеринде төмөнкү буйрукту иштетиңиз file:

4-2-сүрөт - жогоруда берилген буйруктардын жардамы менен түзүлгөн сүрөт. 3-1-сүрөттөгү программалык камсыздоонун архитектурасындагы компоненттерди бул графиктен тапса болот.

Төрт камерадан агып чыгуу
Аппараттык жана программалык камсыздоо туура орнотулганда, бир нече камералуу тиркемелер колдонуучу мейкиндигинен иштей алат. AM62A үчүн, ISP жакшы сүрөт сапатын өндүрүү үчүн туураланган болушу керек. ISP тюнингди кантип аткаруу керектиги үчүн AM6xA ISP тюнинг колдонмосунан караңыз. Кийинки бөлүмдөр эксampКамеранын маалыматтарын дисплейге өткөрүү, камера маалыматтарын тармакка агым жана камера маалыматтарын сактоо files.

Камеранын маалыматтарын көрсөтүү үчүн агым
Бул көп камералуу тутумдун негизги колдонмосу видеолорду бардык камералардан бир эле SoCге туташтырылган дисплейге агылтуу болуп саналат. Төмөндө GStreamer конвейери болуп саналатampдисплейге төрт IMX219 агымынын le (видео түйүн номерлери жана түтүктөгү v4l-subdev сандары кайра жүктөөдөн кайра жүктөөгө чейин өзгөрүшү мүмкүн).

Ethernet аркылуу камера маалыматтарын агым
Ошол эле SoCге туташкан дисплейге агымдын ордуна, камеранын маалыматтары Ethernet аркылуу да агылса болот. Кабыл алуучу тарап башка AM62A/AM62P процессору же хост PC болушу мүмкүн. Төмөнкү эксampкамера маалыматтарын Ethernet аркылуу агылтуу (жөнөкөйлүк үчүн эки камераны колдонуу) (проводдо колдонулган коддогуч плагинге көңүл буруңуз):

Төмөнкү мурункуampКамера маалыматтарын кабыл алуу жана башка AM62A/AM62P процессорундагы дисплейге агылтуу:

Камера маалыматтарын сактоо Files
Дисплейге же тармак аркылуу агымдын ордуна, камера маалыматтарын жергиликтүү түрдө сактоого болот fileс. Төмөнкү түтүк ар бир камеранын маалыматтарын a file (эки камераны мурунку катары колдонууampжөнөкөйлүк үчүн).

Көп камералуу терең үйрөнүү

AM62A классификация, объектти аныктоо, семантикалык сегментация жана башкалар үчүн терең үйрөнүү моделдеринин ар кандай түрлөрүн иштетүүгө жөндөмдүү эки TOPSке чейин терең үйрөнүү акселератору (C7x-MMA) менен жабдылган. Бул бөлүмдө AM62A бир эле учурда төрт түрдүү камера каналында төрт терең үйрөнүү моделин кантип иштете аларын көрсөтөт.

Модель тандоо
TIдин EdgeAI-ModelZoo жүздөгөн заманбап моделдерин камсыздайт, алар C7x-MMA терең үйрөнүү тездеткичине түшүрүү үчүн баштапкы окуу алкактарынан кошулган достук форматка которулат/экспорттолгон. Булуттун негизиндеги Edge AI Studio Model Analyzer колдонууга оңой "Модель тандоо" куралын берет. Ал TI EdgeAI-ModelZoo колдоого алынган бардык моделдерди камтуу үчүн динамикалык жаңыртылган. Курал мурунку тажрыйбаны талап кылбайт жана каалаган моделге талап кылынган функцияларды киргизүү үчүн колдонууга оңой интерфейсти камсыз кылат.

Бул көп камералуу терең үйрөнүү эксперименти үчүн TFL-OD-2000-ssd-mobV1-coco-mlperf тандалган. Бул көп объектти аныктоо модели 300×300 киргизүү токтому менен TensorFlow алкагында иштелип чыккан. 4-1-таблицада 80ге жакын ар түрдүү класстар менен cCOCO маалымат топтому боюнча үйрөтүлгөндө бул моделдин маанилүү өзгөчөлүктөрү көрсөтүлгөн.

Таблица 4-1. TFL-OD-2000-ssd-mobV1-coco-mlperf моделинин өзгөчөлүктөрүн бөлүп көрсөтүү.

Модел	Тапшырма	Резолюция	FPS	mAP 50% COCO боюнча тактык	Кечирүү/Кадр (мс)	DDR BW Колдонуу (МБ/ Кадр)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Көп объектилерди аныктоо	300×300	~152	15.9	6.5	18.839

Түтүктөрдү орнотуу
4-3-сүрөттө 4 камералуу терең үйрөнүү GStreamer түтүгү көрсөтүлгөн. TI GStreamer топтомун камсыз кылат plugins Бул медианы иштетүүнүн бир бөлүгүн түшүрүүгө жана аппараттык тездеткичтерге терең үйрөнүүгө мүмкүндүк берет. Кээ бир эксampбулардан plugins tiovxisp, tiovxmultiscaler, tiovxmosaic жана tidlinferer кирет. 4-3-сүрөттөгү куур талап кылынган нерселердин баарын камтыйт plugins 4 камералуу киргизүү үчүн көп багыттуу GStreamer түтүгү үчүн, ар биринде медиага чейинки процесс, терең үйрөнүү тыянактары жана кийинки процесстер бар. Дубликацияланган plugins камера жолдорунун ар бири үчүн жеңил демонстрациялоо үчүн графикте тизилген.
Колдо болгон аппараттык ресурстар төрт камера жолуна бирдей бөлүштүрүлөт. Мисалы, AM62A эки сүрөт multiscalers камтыйт: MSC0 жана MSC1. Түтүк MSC0 1-камера жана 2-камера жолдорун иштетүү үчүн ачык-айкын, ал эми MSC1 камера 3 жана 4-камерага арналган.

Төрт камера түтүкчөлөрүнүн чыгышы tiovxmosaic плагининин жардамы менен кичирейтилип, бириктирилет. Чыгуу бир экранда көрсөтүлөт. 4-4-сүрөттө объектти аныктоочу терең үйрөнүү модели бар төрт камеранын чыгышы көрсөтүлгөн. Ар бир түтүк (камера) 30 FPS жана жалпысынан 120 FPS менен иштейт.

Андан кийин 4-3-сүрөттө көрсөтүлгөн көп камералуу терең үйрөнүү үчүн колдонуунун толук сценарийи.

Performance Analysis

V3Link тактасын жана AM62A SKди колдонгон төрт камера менен орнотуу ар кандай колдонмо сценарийлеринде сыналды, анын ичинде экранда түздөн-түз көрсөтүү, Ethernet аркылуу агым (төрт UDP каналы), 4 өзүнчө жаздыруу. fileс, жана терең үйрөнүү тыянак менен. Ар бир экспериментте биз бүт системанын мүмкүнчүлүктөрүн изилдөө үчүн кадр ылдамдыгын жана CPU өзөктөрүн колдонууну көзөмөлдөп турдук.

Мурда 4-4-сүрөттө көрсөтүлгөндөй, терең үйрөнүү конвейери tiperfoverlay GStreamer плагинин колдонуп, процессордун өзөктүк жүктөрүн экрандын ылдый жагындагы штрих диаграммасы катары көрсөтөт. Демейки боюнча, график жүктөрдү пайдалануу пайызы катары көрсөтүү үчүн эки секунд сайын жаңыртылып туратtagд. Tiperfoverlay GStreamer плагинине кошумча катары, perf_stats куралы терминалдын негизги иштешин түздөн-түз көрсөтүүнүн экинчи варианты болуп саналат. file. Бул курал tTiperfoverlayas салыштырмалуу такыраак, ал графикти тартуу жана аны экранга коюу үчүн ARMm өзөктөрүнө жана DDRге кошумча жүктү кошот. perf_stats куралы негизинен бул документте көрсөтүлгөн бардык сыноо учурларында аппараттык каражаттарды колдонуу натыйжаларын чогултуу үчүн колдонулат. Бул тесттерде изилденген кээ бир маанилүү процессорлор жана тездеткичтер негизги процессорлорду (төрт A53 Arm ядросу @ 1.25 ГГц), терең үйрөнүү акселераторун (C7x-MMA @ 850 МГц), VISS жана мультишкалагычтары бар VPAC (ISP) (MSC0 жана MSC1) жана DDR операцияларын камтыйт.

5-1-таблицада AM62A төрт камера менен үч колдонуу учуру үчүн, анын ичинде төрт камераны дисплейге агылтуу, Ethernet аркылуу агым жана төрт өзүнчө жаздыруу учурунда өндүрүмдүүлүк жана ресурстарды пайдалануу көрсөтүлгөн. fileс. Ар бир колдонуу жагдайында эки сыноо ишке ашырылат: камера менен гана жана терең үйрөнүү менен. Кошумчалай кетсек, 5-1-таблицадагы биринчи сап эч кандай колдонуучу тиркемелерисиз AM62A операциялык тутуму гана иштеп турганда аппараттык каражаттардын колдонулушун көрсөтөт. Бул башка сыноо учурларынын аппараттык каражаттардын колдонулушун баалоодо салыштыруу үчүн база катары колдонулат. Таблицада көрсөтүлгөндөй, терең үйрөнүү жана экран дисплейи бар төрт камера ар бири 30 FPS менен, төрт камера үчүн жалпысынан 120 FPS менен иштеген. Бул жогорку кадр ылдамдыгы терең үйрөнүү акселераторунун (C86x-MMA) толук кубаттуулугунун 7% гана жетишилет. Мындан тышкары, бул эксперименттерде терең үйрөнүү тездеткичинин сааты 850 МГц ордуна 1000 МГц болгондугун белгилей кетүү маанилүү, бул анын максималдуу иштешинин 85% гана түзөт.

Таблица 5-1. Экранды көрсөтүү, Ethernet агымы, жаздыруу үчүн 62 IMX4 камерасы менен колдонулганда AM219A өндүрүмдүүлүгү (FPS) жана ресурстарды пайдалануу Fileс, жана Performing Deep Learning Conferencing

Applicatio n	Түтүк өткөргүч (иш )	Чыгуу	FPS орточо түтүк с	FPS жалпы	MPUs A53s @ 1.25 ГГц [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 МГц [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [МБ/сек]	DDR Wr [МБ/сек]	DDR Бардыгы [МБ/сек]
Колдонмо жок	Негизги операция жок	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Камера гана	Агым экранга	Экран	30	120	12	12	0	70	61	60	1015	757	1782
	Ethernet аркылуу агым	UDP: 4 порттор 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Жаздыруу чейин files	4 fileс 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam терең үйрөнүү менен	Терең үйрөнүү: Объектти аныктоо MobV1- coco	Экран	30	120	38	25	86	71	85	82	2926	1676	4602
	Терең үйрөнүү: объектти аныктоо MobV1- coco жана Ethernet аркылуу агым	UDP: 4 порттор 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Терең үйрөнүү: Объектти аныктоо MobV1- коко жана жазуу files	4 fileс 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Жыйынтык
Бул колдонмо отчету AM6x үй-бүлө түзүлүштөрүндө көп камералуу тиркемелерди кантип ишке ашырууну сүрөттөйт. Arducam's V3Link Camera Solution Kit жана AM62A SK EVM негизиндеги маалымдама дизайны отчетто берилген, бир нече камера тиркемелери агым жана объектти аныктоо сыяктуу төрт IMX219 камерасын колдонгон. Колдонуучуларга Arducamдан V3Link Camera Solution Kit сатып алуу жана бул мурункуларды кайталоо сунушталатamples. Отчет ошондой эле ар кандай конфигурациядагы төрт камераны колдонууда AM62A иштешинин деталдуу талдоосун камтыйт, анын ичинде экранга көрсөтүү, Ethernet аркылуу агым жана жаздыруу fileс. Ал ошондой эле AM62A'sA параллелдүү төрт өзүнчө камера агымында терең үйрөнүү боюнча жыйынтык чыгаруу мүмкүнчүлүгүн көрсөтөт. Бул экс иштетүү боюнча кандайдыр бир суроолор бар болсоamples, TI E2E форумуна суроо бериңиз.

Шилтемелер

AM62A Starter Kit EVM Quick Start Guide

ArduCam V3Link Камера чечими Ыкчам баштоо колдонмосу
AM62A үчүн Edge AI SDK документтери
Edge AI Smart камералары энергияны үнөмдөөчү AM62A процессорун колдонуу

AM62A боюнча камера күзгү системалары
AM62A боюнча айдоочу жана ээлөө мониторинг системалары
Surround үчүн төрт каналдуу камера колдонмо View жана CMS камера системалары

CIS-62 сенсорун иштетүү боюнча AM2Ax Linux академиясы
Edge AI ModelZoo
Edge AI Studio

Perf_stats куралы

Бул колдонмодо айтылган TI бөлүктөрү Эскертүү:

https://www.ti.com/product/AM62A7

МААНИЛҮҮ ЭСКЕРТҮҮ ЖАНА БАШКАРУУ

TI ТЕХНИКАЛЫК ЖАНА ИШЕНИМДҮҮЛҮК МААЛЫМАТТАРЫН (анын ичинде МААЛЫМАТ БАРАКЧАСЫН), ДИЗАЙНЛЫК РЕСУРСТАРДЫ (МАЛЛАМАЛЫК ДИЗАЙНДАРДЫ КОШУП), ТИРКЕМЕЛЕРДИ ЖЕ БАШКА ДОЛБООЧУ КЕҢЕШТЕРДИ, WEB Бардык кемчиликтер жана башка ресурстар жана башка ресурстар, бардык кемчиликтер менен, бардык кепилдиктер, экспритациялоону чектөө, анын ичинде чектелбестен, эч кандай чектөөчү кепилдиктер, белгилүү бир максат үчүн, белгилүү бир максатка же үчүнчү жактын эместиги үчүн фитнести туура эмес деп эсептеген .

Бул ресурстар TI өнүмдөрүн иштеп чыгуучу квалификациялуу иштеп чыгуучуларга арналган. Сиз үчүн гана жооптуу

Сиздин колдонмоңузга ылайыктуу TI өнүмдөрүн тандоо,

колдонмоңузду иштеп чыгуу, текшерүү жана сыноо, жана
Сиздин колдонмоңуздун колдонулуучу стандарттарга жана башка коопсуздук, коопсуздук, ченемдик укуктук же башка талаптарга жооп беришин камсыз кылуу.

Бул ресурстар эскертүүсүз өзгөртүлүшү мүмкүн. TI бул ресурстарды ресурста сүрөттөлгөн TI өнүмдөрүн колдонгон тиркемени иштеп чыгуу үчүн гана колдонууга уруксат берет. Бул ресурстарды башка кайра чыгарууга жана көрсөтүүгө тыюу салынат. Эч кандай лицензия башка TI интеллектуалдык менчик укугуна же үчүнчү тараптын интеллектуалдык менчик укугуна берилбейт. TI жоопкерчиликтен баш тартат жана сиз TI жана анын өкүлдөрүнө бул ресурстарды колдонуудан келип чыккан ар кандай дооматтар, зыяндар, чыгымдар, жоготуулар жана милдеттенмелер үчүн ордун толуктайсыз.

TI өнүмдөрү TIнын Сатуу шарттарына же ушул жерде жеткиликтүү болгон башка тиешелүү шарттарга ылайык берилет ti.com же мындай TI продуктылары менен бирге берилет. TIнин бул ресурстарды камсыз кылуусу TIнин TI продуктыларына тиешелүү кепилдиктерин же кепилдиктен баш тартуусун кеңейтпейт же башка жол менен өзгөртпөйт.

TI сиз сунуш кылган кошумча же башка шарттарга каршы чыгат жана аларды четке кагат.

МААНИЛҮҮ ЭСКЕРТҮҮ

Почта дареги: Texas Instruments, Post Office Box 655303, Даллас, Техас 75265

Көп берилүүчү суроолор

С: Мен аппараттардын AM6x үй-бүлөсү менен камеранын каалаган түрүн колдоно аламбы?

AM6x үй-бүлөсү ар кандай камера түрлөрүн, анын ичинде орнотулган ISP менен же жок камераларды колдойт. Колдоого алынган камера түрлөрү жөнүндө көбүрөөк маалымат алуу үчүн спецификацияларды караңыз.

: Сүрөт иштетүүдө AM62A жана AM62P ортосунда кандай негизги айырмачылыктар бар?

Негизги вариацияларга колдоого алынган камера түрлөрү, камеранын чыгыш маалыматтары, ISP HWAнын болушу, Deep Learning HWA жана 3-D Graphics HWA кирет. Толук салыштыруу үчүн спецификациялар бөлүмүн караңыз.

Документтер / Ресурстар

Texas Instruments AM6x бир нече камераны иштеп чыгууда [pdf] Колдонуучунун колдонмосу
AM62A, AM62P, AM6x бир нече камераны иштеп чыгуу, AM6x, бир нече камераны иштеп чыгуу, бир нече камера, камера

Шилтемелер

User Manual

Texas Instruments AM6x бир нече камераларды иштеп чыгууда

Техникалык шарттар