AM6x Бірнеше камераны әзірлеу
“
Техникалық сипаттамалар:
- Өнім атауы: AM6x құрылғылар тобы
- Қолдау көрсетілетін камера түрі: AM62A (Кірістірілген ISP бар немесе жоқ),
AM62P (Кірістірілген ISP бар) - Камераның шығыс деректері: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- ISP HWA: AM62A (иә), AM62P (жоқ)
- Терең оқыту HWA: AM62A (иә), AM62P (жоқ)
- 3-D графикасы HWA: AM62A (жоқ), AM62P (иә)
Өнімді пайдалану нұсқаулары:
1. AM6x жүйесіндегі бірнеше камералық қолданбаларға кіріспе:
Кірістірілген камералар заманауи көру жүйелерінде шешуші рөл атқарады.
Жүйеде бірнеше камераны пайдалану мүмкіндіктерді арттырады және
бір камерамен орындалмайтын тапсырмаларды қосады.
2. Бірнеше камераны пайдаланатын қолданбалар:
- Қауіпсіздікті қадағалау: Бақылауды күшейтеді
қамту, объектіні бақылау және тану дәлдігі. - Айнала View: Тапсырмалар үшін стерео көруді қосады
кедергілерді анықтау және нысанды манипуляциялау сияқты. - Кабинаның рекордері және камераның айна жүйесі:
Ұзартылған қамтуды қамтамасыз етеді және соқыр дақтарды жояды. - Медициналық бейнелеу: Жетілдірілген дәлдікті ұсынады
хирургиялық навигация және эндоскопия. - Дрондар және әуеден түсіру: Түсіру
әр түрлі бұрыштардан жоғары ажыратымдылықтағы суреттер
қолданбалар.
3. Бірнеше CSI-2 камераларын SoC жүйесіне қосу:
Бірнеше CSI-2 камераларын SoC жүйесіне қосу үшін мынаны орындаңыз
пайдаланушы нұсқаулығында берілген нұсқаулар. Дұрыс теңестіруді қамтамасыз ету және
әрбір камераның SoC жүйесіндегі белгіленген порттарға қосылуы.
Жиі қойылатын сұрақтар (ЖҚС):
С: AM6x отбасымен камераның кез келген түрін пайдалана аламын ба?
құрылғылар?
A: AM6x отбасы әртүрлі камера түрлерін, соның ішінде, қолдайды
кірістірілген ISP бар немесе жоқ. үшін техникалық сипаттамаларды қараңыз
қолдау көрсетілетін камера түрлері туралы қосымша мәліметтер.
С: AM62A және AM62P арасындағы негізгі айырмашылықтар қандай?
кескінді өңдеу?
A: Негізгі нұсқаларға қолдау көрсетілетін камера түрлері, камера кіреді
шығыс деректері, ISP HWA болуы, Deep Learning HWA және 3-D
HWA графикасы. Толық ақпарат алу үшін техникалық сипаттамалар бөлімін қараңыз
салыстыру.
«`
www.ti.com
Мазмұны
Қолданба ескертпесі
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Цзянчжун Сю, Құтайба Салех
АНСТРАТ
Бұл есеп AM2x құрылғылар тобында бірнеше CSI-6 камераларын пайдаланып қолданбаларды әзірлеуді сипаттайды. AM4A SoC жүйесіндегі 62 камерада терең оқыту арқылы нысанды анықтаудың анықтамалық дизайны өнімділік талдауымен ұсынылған. Дизайндың жалпы принциптері AM2x және AM62P сияқты CSI-62 интерфейсі бар басқа SoC құрылғыларына қолданылады.
Мазмұны
1 Кіріспе………………………………………………………………………………………………………………………………………………………………………………………………………2 2 Бірнеше CSI-2 камераларын қосу SoC…………………………………………………………………………………………………… 3
2.1 SerDes пайдаланатын CSI-2 агрегаторы…………………………………………………………………………………………………………………. 3 2.2 SerDes қолданбай CSI-2 агрегаторы………………………………………………………………………………………………………….4 3 Бірнеше камераны қосу Бағдарламалық құрал………………………………………………………………………………………………………………………………………………………………..5 3.1 Камераның ішкі жүйесінің бағдарламалық жасақтамасының архитектурасы………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………5 Сәулет……………………………………………………………………………………………………………………….. 3.2 5 Анықтамалық дизайн…………………………………………………………………………………………………………………………………………………………………………. 4 7 Қолдау көрсетілетін камералар……………………………………………………………………………………………………………………………………….. 4.1 7 Төрт IMX4.2 орнату Камералар .............................................................................................................................................................................................................................. Interface……………………………………………………………………………………………………. 219 7 Төрт камерадан ағын беру………………………………………………………………………………………………………………………..4.3 2 Көп камералы терең оқыту Қорытынды…………………………………………………………………………………………………………………………………………………………….. 8 4.4 Өнімділік талдау…………………………………………………………………………………………………………………………………………………………. 10 4.5 Түйіндеме .................................................................................... 12 5 References………………………………………………………………………………………………………………………………………………………. 16
Сауда белгілері
Барлық сауда белгілері тиісті иелерінің меншігі болып табылады.
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
1
Copyright © 2024 Texas Instruments Incorporated
Кіріспе
www.ti.com
1 Кіріспе
Кірістірілген камералар заманауи көру жүйелерінде маңызды рөл атқарады. Жүйеде бірнеше камераны пайдалану осы жүйелердің мүмкіндіктерін кеңейтеді және бір камерамен мүмкін емес мүмкіндіктерді қосады. Төменде кейбір бұрынғыampБірнеше ендірілген камераларды пайдаланатын қолданбалар:
Қауіпсіздікті қадағалау: стратегиялық түрде орналастырылған бірнеше камералар бақылаудың жан-жақты қамтылуын қамтамасыз етеді. Олар панорамалық мүмкіндік береді views, соқыр дақтарды азайтады және объектіні бақылау мен тану дәлдігін арттырады,
жалпы қауіпсіздік шараларын жетілдіру.
Айнала View: Үш өлшемді ақпарат пен тереңдікті бағалауға мүмкіндік беретін стерео көру орнатуын жасау үшін бірнеше камера қолданылады. Бұл автономды режимде кедергілерді анықтау сияқты тапсырмалар үшін өте маңызды
көліктер, робототехникадағы нақты объект манипуляциясы және толықтырылған шындық тәжірибесінің жақсартылған шынайылығы.
Кабинаны жазу құрылғысы және камераның айна жүйесі: Бірнеше камерасы бар автомобиль салоны рекордері бір процессорды пайдаланып көбірек қамтуды қамтамасыз ете алады. Сол сияқты, екі немесе одан да көп камералары бар камераның айна жүйесі кеңейте алады
жүргізуші саласы view және көліктің барлық жағынан соқыр дақтарды жойыңыз.
Медициналық кескіндеу: хирургиялық навигация сияқты тапсырмалар үшін медициналық бейнелеуде бірнеше камераларды қолдануға болады, бұл хирургтарға жоғары дәлдік үшін көптеген перспективалар береді. Эндоскопияда бірнеше камера мұқият тексеруге мүмкіндік береді
ішкі ағзаларды тексеру.
Дрондар және әуеден түсіру: Дрондар әртүрлі бұрыштардан жоғары ажыратымдылықтағы суреттерді немесе бейнелерді түсіру үшін жиі бірнеше камералармен жабдықталған. Бұл аэрофототүсірілім, ауыл шаруашылығы сияқты қолданбаларда пайдалы
мониторинг және жерге орналастыру.
Микропроцессорлардың жетілдірілуімен ықшам және тиімді шешімдерді қамтамасыз ету үшін бірнеше камераларды бір чиптегі жүйеге (SoC) біріктіруге болады. AM62Ax SoC өнімділігі жоғары бейне/көру өңдеуі және терең оқуды жеделдетуі жоғарыда аталған пайдалану жағдайлары үшін тамаша құрылғы болып табылады. Басқа AM6x құрылғысы AM62P өнімділігі жоғары ендірілген 3D дисплей қолданбаларына арналған. 3D графикасын жеделдетумен жабдықталған AM62P бірнеше камералардағы кескіндерді оңай біріктіріп, ажыратымдылығы жоғары панорамалық бейнені жасай алады. view. AM62A/AM62P SoC инновациялық мүмкіндіктері [4], [5], [6] және т.б. сияқты әртүрлі жарияланымдарда ұсынылған. Бұл қолданба ескертпесі бұл мүмкіндік сипаттамаларын қайталамайды, оның орнына AM2A/AM62P жүйесіндегі кірістірілген көру қолданбаларына бірнеше CSI-62 камераларын біріктіруге бағытталған.
1-1 кестеде кескінді өңдеуге қатысты AM62A және AM62P арасындағы негізгі айырмашылықтар көрсетілген.
Кесте 1-1. Кескінді өңдеудегі AM62A және AM62P арасындағы айырмашылықтар
SoC
AM62A
AM62P
Қолдау көрсетілетін камера түрі
Кірістірілген ISP бар немесе онсыз
Кірістірілген ISP көмегімен
Камераның шығыс деректері
Raw/YUV/RGB
YUV/RGB
ISP HWA
Иә
Жоқ
Терең оқу HWA
Иә
Жоқ
3-D графикасы HWA
Жоқ
Иә
2
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Бірнеше CSI-2 камераларын SoC жүйесіне қосу
2 Бірнеше CSI-2 камераларын SoC жүйесіне қосу
AM6x SoC камерасының ішкі жүйесі 2-1-суретте көрсетілгендей келесі құрамдастарды қамтиды:
· MIPI D-PHY қабылдағышы: сыртқы камералардан 1.5 жолақ үшін деректер жолағында 4 Гбит/с дейін қолдау көрсететін бейне ағындарын қабылдайды.
· CSI-2 қабылдағышы (RX): D-PHY қабылдағышынан бейне ағындарын қабылдайды және ағындарды ISP-ке тікелей жібереді немесе деректерді DDR жадына тастайды. Бұл модуль 16 виртуалды арнаға дейін қолдау көрсетеді.
· SHIM: түсірілген ағындарды DMA арқылы жадқа жіберуге мүмкіндік беретін DMA орамы. Әр контекст CSI-2 қабылдағышының виртуалды арнасына сәйкес келетін бірнеше DMA контексттерін осы орауыш арқылы жасауға болады.
Деректер жолы 0
ISP
MIPI
Деректер жолы 1
CSI2 RX
D-PHY
Деректер жолы 2
Қабылдаушы
Деректер жолы 3
Сағат жолағы
SHIM
DDR жады
AM62A/AM62P SoC камерасының ішкі жүйесінің модульдері
2-1-сурет. AM62A/AM62P SoC камерасының ішкі жүйесінің жоғары деңгейлі блок диаграммасы
SoC жүйесінде тек бір CSI-6 RX интерфейсі болса да, CSI-2 RX виртуалды арналарын пайдалану арқылы AM2x құрылғысында бірнеше камераларға қолдау көрсетуге болады. Бірнеше камера ағындарын біріктіру және бір SoC-ге жіберу үшін сыртқы CSI-2 жинақтау компоненті қажет. Келесі бөлімдерде сипатталған пайдалануға болатын CSI-2 жинақтау шешімдерінің екі түрі бар.
2.1 SerDes пайдаланатын CSI-2 агрегаторы
Бірнеше камера ағындарын біріктірудің бір жолы сериялау және сериядан шығару (SerDes) шешімін пайдалану болып табылады. Әрбір камерадан алынған CSI-2 деректері сериализатор арқылы түрлендіріліп, кабель арқылы тасымалданады. Сериялизатор кабельдерден тасымалданатын барлық серияланған деректерді алады (әр камераға бір кабель), ағындарды қайтадан CSI-2 деректеріне түрлендіреді, содан кейін аралас CSI-2 ағынын SoC жүйесіндегі жалғыз CSI-2 RX интерфейсіне жібереді. Әрбір камера ағыны бірегей виртуалды арна арқылы анықталады. Бұл жинақтау шешімі камералардан SoC-қа 15 м-ге дейінгі қашықтыққа қосылуға мүмкіндік беретін қосымша артықшылықты ұсынады.
AM3x Linux SDK жүйесінде қолдау көрсетілетін FPD-Link немесе V6-Link сериализаторлары мен сериялизаторлары (SerDes) CSI-2 жинақтау шешімінің осы түріне арналған ең танымал технологиялар болып табылады. FPD-Link және V3-Link сериясыздандыру құрылғыларының екеуінде [7] түсіндірілгендей, барлық камераларды синхрондау үшін кадрларды синхрондау сигналдарын жіберу үшін пайдалануға болатын кері арналары бар.
2-2 суретте бұрынғыampБірнеше камераны бір AM6x SoC жүйесіне қосу үшін SerDes пайдалану.
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
3
Copyright © 2024 Texas Instruments Incorporated
Бірнеше CSI-2 камераларын SoC жүйесіне қосу
Камера
Сериализатор
Сериялизатор хабы
www.ti.com
Камера камерасы
Сериализатор Сериализатор
CSI-2 Tx
CSI-2 Rx
AM62A/ AM62P
SoC
Камера
Сериализатор
2-2-сурет. SerDes көмегімен бірнеше камераны қосу
БұрынғыampБұл жинақтау шешімін Arducam V3Link камера шешімдер жинағында табуға болады. Бұл жинақта 4 CSI-2 камера ағынын, сондай-ақ FAKRA коаксиалды кабельдерін және 4 істікшелі FPC кабельдерін қоса алғанда 3 жұп V219link сериализаторы мен IMX22 камерасын біріктіретін дезерилизатор хабы бар. Кейінірек талқыланатын анықтамалық дизайн осы жинаққа салынған.
2.2 SerDes қолданбай CSI-2 агрегаторы
Агрегатордың бұл түрі бірнеше MIPI CSI-2 камераларымен тікелей интерфейс жасай алады және барлық камералардағы деректерді бір CSI-2 шығыс ағынына біріктіреді.
2-3 суретте бұрынғыampмұндай жүйе. Агрегаттаушы шешімнің бұл түрі сериализаторды/сериясыздандыруды пайдаланбайды, бірақ CSI-2 деректерін тасымалдаудың 30 см-ге дейінгі ең үлкен қашықтығымен шектеледі. AM6x Linux SDK бұл CSI-2 агрегатор түріне қолдау көрсетпейді.
Сериялизатор хабы
Камера
CSI-2 Rx
Камера Камера Камера
CSI-2 Rx CSI-2 Rx
CSI-2 Tx
CSI-2 Rx
CSI-2 Rx
AM62A/ AM62P
SoC
2-3-сурет. CSI-2 агрегаторы арқылы бірнеше камераларды қосу
4
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Бағдарламалық құралда бірнеше камераны қосу
3 Бағдарламалық құралда бірнеше камераны қосу
3.1 Камера ішкі жүйесінің бағдарламалық жасақтамасының архитектурасы
3-1 суретте 62-62 суреттегі HW жүйесіне сәйкес келетін AM2A/AM2P Linux SDK ішіндегі камера түсіру жүйесінің бағдарламалық құралының жоғары деңгейлі блок диаграммасы көрсетілген.
Пайдаланушы қолданбалары
V4L2 утилиталары
Медиа контроллері
TI CSI2RX драйвері (SHIM, DMASS)
Cadence CSI2 – RX драйвері
Cadence D – PHY драйвері
Сериялизатор драйвері
Сериализатор драйвері
Камера сенсорының драйвері
V4L2 Framework
3-1-сурет. SerDes көмегімен камераны түсіру жүйесінің жоғары деңгейлі блок диаграммасы
Бұл бағдарламалық жасақтама архитектурасы 2-2-суретте көрсетілгендей, SoC жүйесіне SerDes көмегімен бірнеше камера ағындарын алуға мүмкіндік береді. FPD-Link/V3-Link SerDes әрбір камераға бірегей I2C мекенжайы мен виртуалды арнаны тағайындайды. Әрбір камера үшін бірегей I2C мекенжайы бар бірегей құрылғы ағашының қабаттасуы жасалуы керек. CSI-2 RX драйвері бірегей виртуалды арна нөмірі арқылы әрбір камераны таниды және әрбір камера ағыны үшін DMA контекстін жасайды. Әрбір DMA мәтінмәні үшін бейне түйін жасалады. Әр камерадан алынған деректер DMA арқылы сәйкесінше жадқа қабылданады және сақталады. Пайдаланушы кеңістігі қолданбалары камера деректеріне қол жеткізу үшін әрбір камераға сәйкес бейне түйіндерін пайдаланады. МысалыampОсы бағдарламалық жасақтаманың архитектурасын пайдалану жолдары анықтамалық дизайнның 4-тарауында берілген.
V4L2 құрылымымен үйлесімді кез келген нақты сенсор драйвері осы архитектурада қосылып, ойната алады. Жаңа сенсор драйверін Linux SDK жүйесіне біріктіру жолы туралы [8] қараңыз.
3.2 Кескін құбырының бағдарламалық құралының архитектурасы AM6x Linux SDK әр түрлі қолданбалар үшін кескін өңдеу құрамдастарын біріктіру үшін пайдаланушы кеңістігінде пайдалануға болатын GStreamer (GST) құрылымын қамтамасыз етеді. Vision Pre-processing Accelerator (VPAC) немесе ISP, бейне кодер/декодер және терең оқыту есептеу механизмі сияқты SoC жүйесіндегі аппараттық жеделдеткіштерге (HWA) GST арқылы қол жеткізуге болады. plugins. VPAC (ISP) өзінде бірнеше блоктар бар, соның ішінде Vision Imaging Sub-System (VISS), Объективтің бұрмалануын түзету (LDC) және Multiscalar (MSC), әрқайсысы GST плагиніне сәйкес келеді.
3-2-суретте камерадан AM62A жүйесіндегі кодтауға немесе терең оқыту қолданбаларына дейінгі типтік кескін құбырының құрылымдық диаграммасы көрсетілген. Деректер ағыны туралы қосымша мәліметтер алу үшін EdgeAI SDK құжаттамасын қараңыз.
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
5
Copyright © 2024 Texas Instruments Incorporated
Бағдарламалық құралда бірнеше камераны қосу
Автоматты экспозицияны басқару
2А алгоритмі
Камера
v4l2src
GST plugins ISP үшін
HWA кодтауы
GST plugins Кодтау үшін
GST plugins терең оқытуға арналған
www.ti.com
Төменгі ағын қолданбалары
ISP HWA
Терең оқу HWA
Gstreamer (GST) плагині AM62A Hardware Accelerator (HWA)
3-2-сурет. GStreamer пайдаланатын әдеттегі AM62A кескін құбыры AM62P үшін кескін құбыры оңайырақ, себебі AM62P жүйесінде ISP жоқ.
HWA кодтауы
Камера
v4l2src
GST plugins Кодтау үшін
GST plugins 3-D графикасы үшін
Төменгі ағын қолданбалары
Терең оқу HWA
Gstreamer (GST) плагині AM62P Hardware Accelerator (HWA)
3-3-сурет. GStreamer пайдаланатын әдеттегі AM62P кескін құбыры
Камералардың әрқайсысы үшін жасалған бейне түйінімен GStreamer негізіндегі кескін құбыры бірнеше камера кірістерін (бірдей CSI-2 RX интерфейсі арқылы қосылған) бір уақытта өңдеуге мүмкіндік береді. Көп камералы қолданбаларға арналған GStreamer көмегімен анықтамалық дизайн келесі тарауда берілген.
6
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Анықтамалық дизайн
4 Анықтамалық дизайн
Бұл тарауда 62 CSI-3 камерасын AM4A-ға қосу үшін Arducam V2Link камера шешімдер жинағын және барлық 62 камера үшін іске қосылған нысанды анықтауды пайдаланып, AM4A EVM жүйесінде бірнеше камералық қолданбаларды іске қосудың анықтамалық дизайны берілген.
4.1 Қолдау көрсетілетін камералар
Arducam V3Link жинағы FPD-Link/V3-Link негізіндегі камералармен және Raspberry Pi үйлесімді CSI-2 камераларымен жұмыс істейді. Келесі камералар сыналған: · D3 Engineering D3RCM-IMX390-953 · Leopard Imaging LI-OV2312-FPDLINKIII-110H · Arducam V219Link камера шешімдер жинағындағы IMX3 камералары
4.2 Төрт IMX219 камерасын орнату
SK-AM62A-LP EVM (AM62A SK) және камераларды AM62A SK жүйесіне V3Link жинағы арқылы қосу үшін ArduCam V62Link камера шешімін орнату үшін AM3A Starter Kit EVM Quick Start Guild нұсқаулығында берілген нұсқауларды орындаңыз. Икемді кабельдердегі, камералардағы, V3Link тақтасындағы және AM62A SK түйреуіштерінің барлығы дұрыс тураланғанын тексеріңіз.
4-1-сурет осы есептегі анықтамалық дизайн үшін пайдаланылған орнатуды көрсетеді. Орнатудағы негізгі құрамдас бөліктерге мыналар кіреді: · 1X SK-AM62A-LP EVM тақтасы · 1X Arducam V3Link d-ch адаптер тақтасы · Arducam V3Link-ті SK-AM62A-ға қосатын FPC кабелі · 4X V3Link камера адаптерлері (сериализаторлар) · 4X RF коаксиалды кабельдерге V3Lch-ке жалғау V3Lchk жиынтық · 4X IMX219 камералары · 4X CSI-2 камераларды сериялайтын құрылғыларға қосуға арналған 22 істікшелі кабельдер · Кабельдер: HDMI кабелі, SK-AM62A-LP қуат беру үшін USB-C және V12Link d-ch жинағы үшін 3 В қуат көзі) · 4-1-суретте көрсетілмеген басқа компоненттер: micro-SK-LP62 картасына және micro-SK-LPXNUMX картасына кіру
ағынға арналған ethernet
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
7
Copyright © 2024 Texas Instruments Incorporated
Анықтамалық дизайн
www.ti.com
4-1-сурет. Анықтамалық дизайнда пайдаланылатын V3link тақтасы және 4 камера орнату
4.3 Камераларды және CSI-2 RX интерфейсін конфигурациялау
Бағдарламалық құралды Arducam V3Link жылдам бастау нұсқаулығында берілген нұсқауларға сәйкес орнатыңыз. Камераны орнату сценарийін іске қосқаннан кейін setup-imx219.sh, камералар пішімі, CSI-2 RX интерфейс пішімі және әрбір камерадан сәйкес бейне түйініне дейінгі бағыттар дұрыс конфигурацияланады. Төрт IMX219 камерасы үшін төрт бейне түйіні жасалған. “v4l2-ctl –list-devices” пәрмені төменде көрсетілгендей барлық V4L2 бейне құрылғыларын көрсетеді:
root@am62axx-evm:~# v4l2-ctl –list-devices j721e-csi2rx (платформа:30102000.ticsi2rx):
/dev/video2 /dev/video3 /dev/video4 /dev/video5 /dev/video6 /dev/video7 /dev/media0
wave5-dec (платформа:wave5-dec): /dev/video0
wave5-enc (платформа:wave5-enc): /dev/video1
8
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Анықтамалық дизайн
tiscsi6rx астында 1 бейне түйіні және 2 медиа түйіні бар. Әрбір бейне түйіні DMA контекстіне сәйкес келеді
CSI2 RX драйверімен бөлінген. Төменде көрсетілгендей 6 бейне түйінінің 4-і 4 IMX219 камерасы үшін пайдаланылады.
төмендегі медиа құбыр топологиясы:
root@am62axx-evm:~# media-ctl -p
Құрылғы топологиясы – нысан 1: 30102000.ticsi2rx (7 тақта, 7 сілтеме, 4 маршрут)
түрі V4L2 subdev ішкі түрі Белгісіз жалаулар 0 құрылғы түйінінің атауы /dev/v4l-subdev0 маршруттары:
0/0 -> 1/0 [БЕЛСЕНДІ] 0/1 -> 2/0 [БЕЛСЕНДІ] 0/2 -> 3/0 [БЕЛСЕНДІ] 0/3 -> 4/0 [БЕЛСЕНДІ] pad0: Раковина [ағыны: 0 фмт: UYVY8_1X16/640×480 өріс: ешбір түс кеңістігі xrgb:srgb:srgb:s кванттау:лим-диапазоны] [ағын:601 fmt:UYVY1_8X1/16×640 өріс:жоқ түстер кеңістігі:srgb xfer:srgb ycbcr:480 кванттау:lim-диапазоны] [ағын:601 fmt:UYVY2_8X1/16×640 өріс:srgbfer:srgbce ycbcr:480 кванттау:lim-диапазон] [ағын:601 fmt:UYVY3_8X1/16×640 өріс:жоқ түстер кеңістігі:srgb xfer:srgb ycbcr:480 кванттау:lim-диапазоны] <- “cdns_csi601rx.2”bridge:- “cdns_csi30101000rx.1. [ҚОСЫЛҒАН, ӨЗГЕРІЛМЕЙТІН] pad1: көзі [ағыны: 0 fmt: UYVY8_1X16/640×480 өріс: ешбір түс кеңістігі: srgb xfer: srgb ycbcr: 601 кванттау: лим-диапазон] -> “30102000.ticsi2r] -> [0.ticsi0r]MENUT”ABLED2, pad0: көзі [ағыны: 8 fmt: UYVY1_16X640/480×601 өріс: ешбір түс кеңістігі: srgb xfer: srgb ycbcr: 30102000 кванттау: лим-диапазон] -> “2.ticsi1rx контекст 0”: 3 [ҚОСЫЛДЫ: IMPADur], fmt:UYVY0_8X1/16×640 өріс:жоқ түстер кеңістігі:srgb xfer:srgb ycbcr:480 кванттау:lim-диапазон] -> “601.ticsi30102000rx контекст 2”:2 [ҚОСУ, ӨЗГЕРІЛМЕЙТІН] pad0:4 fmt:UYVY0_8X1/16×640 өріс: ешбір түс кеңістігі: srgb xfer: srgb ycbcr: 480 кванттау: lim-диапазон] -> “601.ticsi30102000rx контекст 2”:3 [ҚОСЫЛҒАН, ӨЗГЕРІЛМЕЙТІН] pad0:5 контекст pad30102000:2 4”:0 [ҚОСЫЛҒАН, ӨЗГЕРІЛМЕЙТІН] pad6: Source -> “30102000.ticsi2rx context 5″:0 [ҚОСУЛҒАН, ӨЗГЕРІЛМЕЙТІН]
Жоғарыда көрсетілгендей, 30102000.ticsi2rx медиа нысанында 6 бастапқы тақта бар, бірақ әрқайсысы бір IMX4 үшін тек алғашқы 219 қолданылады. Тасымалдаушы құбыр топологиясын графикалық түрде де көрсетуге болады. Нүкте жасау үшін келесі пәрменді орындаңыз file:
root@am62axx-evm:~# media-ctl –print-dot > media.dot
Содан кейін png жасау үшін Linux негізгі компьютерінде төмендегі пәрменді іске қосыңыз file:
$ dot -Tpng media-top.dot -o media-top.png
4-2 суретте жоғарыда берілген пәрмендер арқылы жасалған сурет. 3-1-суреттегі бағдарламалық жасақтаманың архитектурасының компоненттерін осы графиктен табуға болады.
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
9
Copyright © 2024 Texas Instruments Incorporated
Анықтамалық дизайн
Камералар сериализаторлары
Imx219 6-0010 /dev/v4l-subdev9
0
0 ds90ub953 4-0044 /dev/v41-subdev8
1
Imx219 7-0010 /dev/v4l-subdev5
0
0 ds90ub953 4-0045 /dev/v41-subdev3
1
Imx219 8-0010 /dev/v4l-subdev7
0
0 ds90ub953 4-0046 /dev/v41-subdev4
1
Сериялизатор хабы
0
1
2
3
ds90ub960 4-0030 /dev/v4l-subdev2
4
5
D-PHY және CSI-2 Rx көпірі
0
cdns_csi2rx.30101000.csi-bridge /dev/v4l-subdev1
1
2
3
4
TI CSI-2 RX (SHIM, DMASS)
0 30102000.ticsi2rx /dev/v4l-subdev0
1 23 4 5 6
www.ti.com
Imx219 9-0010 /dev/v4l-subdev10
0
0 ds90ub953 4-0047 /dev/v41-subdev6
1
30102000.ticsi2rx контекст 0 /dev/video2
30102000.ticsi2rx контекст /dev/video3
1text3010200/d0e.tvic/vsiid2erxo4context
2
30102000.ticsi2rx контекст 3 /dev/video5
30102000.ticsi2rx контекст 4 /dev/video6
30102000.ticsi2rx контекст 5 /dev/video7
Бейне түйіндері: әрбір камера үшін бір-бірден алғашқы 4 түйін пайдаланылады
4-2-сурет. Көп камералы жүйенің медиа топологиясы
4.4 Төрт камерадан ағын
Аппараттық құрал да, бағдарламалық құрал да дұрыс реттелсе, бірнеше камералық қолданбалар пайдаланушы кеңістігінен жұмыс істей алады. AM62A үшін ISP жақсы кескін сапасын шығару үшін реттелуі керек. ISP реттеуін орындау үшін AM6xA ISP реттеу нұсқаулығын қараңыз. Келесі бөлімдер эксampкамера деректерін дисплейге ағынмен жіберу, камера деректерін желіге ағынмен жіберу және камера деректерін сақтау files.
4.4.1 Камера деректерін көрсету үшін ағынмен жіберу
Бұл көп камералы жүйенің негізгі қолданбасы бейнелерді барлық камералардан бір SoC жүйесіне қосылған дисплейге ағынмен жіберу болып табылады. Төменде GStreamer құбыр желісі берілгенampдисплейге төрт IMX219 ағынын беру (құбырдағы бейне түйін нөмірлері мен v4l-subdev нөмірлері қайта жүктеуден қайта жүктеуге дейін өзгеруі мүмкін).
gst-launch-1.0 v4l2src құрылғысы=/dev/video2 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev9 сенсор-атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,формат=NV12, ені=1920,биіктігі=1080 ! кезек! mosaic.sink_0 v4l2src құрылғысы=/dev/video3 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev5 сенсор-атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,формат=NV12, ені=1920,биіктігі=1080 ! кезек! mosaic.sink_1 v4l2src құрылғысы=/dev/video4 io-mode=5 ! бейне/x-
10
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Анықтамалық дизайн
bayer,width=1920,height=1080,framerate=30/1,format=bggr ! кезек ағып жатыр = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev7 сенсор-атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,формат=NV12, ені=1920,биіктігі=1080 ! кезек! mosaic.sink_2 v4l2src құрылғысы=/dev/video5 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp sink_0::device=/dev/v4l-subdev10 сенсор-атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/ imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin format-msb=7 sink_0::pool-size=8 src::pool-size=8 ! video/x-raw,формат=NV12, ені=1920,биіктігі=1080 ! кезек! mosaic.sink_3 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<640>” sink_0::heights=”<480>” sink_1::startx=”_<0:”>1”s sink_480::widths=”<1>” sink_640::heights=”<1>” sink_480::startx=”<2>” sink_640::starty=”<2>” sink_0::widths=”<2>” sink_640::heights=”sink=2”>art<480:” sink_3::starty=”<640>” sink_3::widths=”<480>” sink_3::heights=”<640>” ! кезек! бейне/x-raw, ені=3, биіктігі=480 ! kmssink драйверінің аты=tidss синхрондау=false forcemodesetting=true
4.4.2 Ethernet арқылы камера деректерін ағынмен жіберу
Бір SoC желісіне қосылған дисплейге ағынмен жіберудің орнына, камера деректерін Ethernet арқылы да жіберуге болады. Қабылдаушы тарап басқа AM62A/AM62P процессоры немесе негізгі компьютер болуы мүмкін. Келесі - бұрынғыampкамера деректерін Ethernet арқылы ағынмен жіберу (қарапайымдылық үшін екі камераны пайдалану) (құбырда пайдаланылатын кодтау плагиніне назар аударыңыз):
gst-launch-1.0 v4l2src құрылғысы=/dev/video2 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 ! кезек! бейне/x-raw,пішімі=NV12,ені=1920,биіктігі=1080, кадр=30/1 ! v4l2h264enc! rtph264 төлеңіз! udpsink порты = 5000 хост = v4l2src құрылғысы=/dev/video3 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! кезек! бейне/x-raw,пішімі=NV12,ені=1920,биіктігі=1080, кадр=30/1 ! v4l2h264enc! rtph264 төлеңіз! udpsink порты = 5001 хост =
Келесі - бұрынғыampкамера деректерін қабылдау және басқа AM62A/AM62P процессорындағы дисплейге ағынмен жіберу:
gst-launch-1.0 -v udpsrc порты = 5000 ! 'application/x-rtp, encoding-name=H264, пайдалы жүктеме=96' ! rtph264depay! avdec_h264 ! кезек! бейнеконверттеу! кезек! video/x-raw,формат=NV12,ені=1920,биіктігі=1080 ! кезек! mosaic.sink_0 udpsrc порты = 5001 ! 'application/x-rtp, encoding-name=H264, пайдалы жүктеме=96' ! rtph264depay! avdec_h264 ! кезек! бейнеконверттеу! кезек! video/x-raw,формат=NV12,ені=1920,биіктігі=1080 ! кезек! mosaic.sink_1 tiovxmosaic name=mosaic sink_0::startx=”<0>” sink_0::starty=”<0>” sink_0::widths=”<960>” sink_0::heights=”<540>” sink_1::startx=”sink_960::startx=”sink_1”<540”> sink_1::widths=”<960>” sink_1::heights=”<540>” ! кезек! kmssink драйверінің аты=tidss синхрондау=жалған
4.4.3 Камера деректерін сақтау Files
Дисплейге немесе желі арқылы ағынмен жіберудің орнына, камера деректерін жергілікті жерде сақтауға болады fileс. Төмендегі құбыр әр камераның деректерін a file (бұрынғы камера ретінде екі камераны пайдалануampқарапайымдылық үшін).
gst-launch-1.0 v4l2src құрылғысы=/dev/video2 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 !
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
11
Copyright © 2024 Texas Instruments Incorporated
Анықтамалық дизайн
www.ti.com
кезек! бейне/x-raw,пішімі=NV12,ені=1920,биіктігі=1080, кадр=30/1 ! v4l2h264enc! fileраковинаның орны=camcap-1.mp4 v4l2src құрылғысы=/dev/video3 io-mode=5 ! video/xbayer,ені=1920,биіктігі=1080,кадрлық=30/1,формат=bggr ! кезек ағып жатыр = 2 ! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev5 ! кезек! бейне/x-raw,пішімі=NV12,ені=1920,биіктігі=1080, кадр=30/1 ! v4l2h264enc! fileраковинаның орны=cam-cap-2.mp4
4.5 Мультикамера терең білім туралы қорытынды
AM62A жіктеу, нысанды анықтау, семантикалық сегменттеу және т.б. үшін терең оқыту үлгілерінің әртүрлі түрлерін іске қосуға қабілетті екі TOPS-ке дейін терең оқыту үдеткішімен (C7x-MMA) жабдықталған. Бұл бөлім AM62A төрт түрлі камера арналарында төрт терең оқыту моделін бір уақытта қалай іске қоса алатынын көрсетеді.
4.5.1 Үлгіні таңдау
TI EdgeAI-ModelZoo жүздеген заманауи үлгілерді қамтамасыз етеді, олар C7x-MMA терең оқыту үдеткішіне жүктелуі үшін бастапқы оқу шеңберлерінен ендірілген ыңғайлы пішімге түрлендіріледі/экспортталады. Бұлтқа негізделген Edge AI Studio үлгі анализаторы қолдануға оңай «Модель таңдау» құралын ұсынады. Ол TI EdgeAI-ModelZoo жүйесінде қолдау көрсетілетін барлық үлгілерді қосу үшін динамикалық түрде жаңартылды. Құрал алдыңғы тәжірибені қажет етпейді және қалаған үлгіде қажетті мүмкіндіктерді енгізу үшін қолдануға оңай интерфейсті қамтамасыз етеді.
Бұл көп камералы терең оқыту эксперименті үшін TFL-OD-2000-ssd-mobV1-coco-mlperf таңдалды. Бұл көп нысанды анықтау моделі 300×300 кіріс рұқсаты бар Tensor Flow құрылымында жасалған. 4-1-кестеде 80-ге жуық әртүрлі сыныптары бар коко деректер жинағында оқыту кезінде осы үлгінің маңызды мүмкіндіктері көрсетілген.
Кесте 4-1. TFL-OD-2000-ssd-mobV1-coco-mlperf үлгісінің ерекшеліктерін бөлектеңіз.
Үлгі
Тапсырма
Ажыратымдылық
FPS
COCO бойынша mAP 50% дәлдік
Кідіріс/кадр (мс)
DDR BW пайдалану (МБ/кадр)
TFL-OD-2000-ssd-
Көп нысан 300×300
~152
15.9
6.5
mobV1-coco-mlperf
Анықтау
18.839
4.5.2 Құбырды орнату
4-3-суретте 4 камералы терең оқыту GStreamer құбыры көрсетілген. TI GStreamer костюмін ұсынады plugins бұл кейбір медианы өңдеуді босатуға және аппараттық жеделдеткіштерге терең үйренуге мүмкіндік береді. Кейбір бұрынғыampбұлардың кейбірі plugins tiovxisp, tiovxmultiscaler, tiovxmosaic және tidlinferer кіреді. 4-3-суреттегі құбыр барлық қажеттілікті қамтиды plugins көп жолды GStreamer құбыры үшін 4 камералық кірістерге арналған, әрқайсысында мультимедиа алдын ала процесі, терең оқыту қорытындысы және кейінгі процесс. Қайталанған plugins демонстрацияны жеңілдету үшін камера жолдарының әрқайсысы үшін графикте жинақталған.
Қол жетімді аппараттық ресурстар төрт камера жолы арасында біркелкі бөлінген. Мысалы, AM62A екі кескінді көп масштабтаушыдан тұрады: MSC0 және MSC1. Құбыр 0-камера мен 1-камера жолдарын өңдеу үшін MSC2-ды, ал MSC1 3-камера мен 4-камераға арналған.
12
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
CSI IMX219 Cam(1) Cam(2) Cam(3) Cam(4)
VISS үдеткіші
MSC үдеткіші
1920×1080
1920×1080
RGGB
NV12
Input Capture
Exposure Gain
v4l2src
tiovxisp
Scale және Split tiovxmultiscaler
1110×690 NV12
1110×690 NV12
кезек
MSC үдеткіші
Шкаласы tiovxmultiscaler
640×480 NV12
Терең оқыту акселераторы C7x/MMA
кезек
Анықтамалық дизайн
MSC үдеткіші
Шкаласы tiovxmultiscaler
300×300 NV12
tiovxdlpreproc алдын ала өңдеу
300×300 RGB
tidlinferer
Кейінгі процесс tidlpostproc
DSS үдеткіші
MSC үдеткіші
192×1080
NV12 HDMI
Kmssink көрсету үшін
Өнімділік типтері
Conc Images tiovxmosaic
4x640x480 NV12
GST Plugin ARM NEON Оңтайландырылған GST Plugin ARM Deep Learning Орындалу уақыты
A53 ARM ядроларында HW HW Accelerator қолданбасының коды бар GST плагині
4-3-сурет. AM219A құрылғысындағы Quad CSI IMX62 камерасына арналған GStreamer құбыры
Төрт камера құбырының шығысы кішірейтілген және tiovxmosaic плагинінің көмегімен біріктірілген. Шығару бір экранда көрсетіледі. 4-4-суретте нысанды анықтауды іске қосатын терең оқыту моделі бар төрт камераның шығысы көрсетілген. Әрбір құбыр (камера) 30 FPS және жалпы 120 FPS жиілігінде жұмыс істейді.
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
13
Copyright © 2024 Texas Instruments Incorporated
Анықтамалық дизайн
www.ti.com
4-4-сурет. Графикалық өнімділік қабаты бар AM62A көмегімен төрт камера объектісін анықтау терең оқу қорытындысының скриншоты
Одан әрі 4-3-суретте көрсетілген көп камералы терең оқытуды пайдалану жағдайына арналған толық конвейер сценарийі.
gst-launch-1.0 -v v4l2src құрылғысы=/dev/video2 io-mode=5 ! кезек ағып жатыр = 2 ! video/x-bayer, ені=1920, биіктігі=1080, формат=rggb! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! бейне/x-raw, формат=NV12 ! tiovxmulticaler target=0 name=split_01 split_01. ! кезек! бейне/x-raw, ені=1110, биіктігі=690 ! tiovxmulticaler target=0 ! video/xraw, ені=300, биіктігі=300! tiovxdlpreproc деректер түрі = 3 арна тәртібі = 1 тензор форматы = rgb outpool-size = 4 ! application/x-tensor-tiovx ! tidlinferer target=1 модель=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_0.tensor split_01. ! кезек! бейне/x-raw, ені=640, биіктігі=360 ! post_0.sink tidlpostproc атауы=post_0 моделі=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-шегі=0.600000 жоғарғы N=5! кезек! мозаика_0. v4l2src құрылғысы=/dev/video3 io-mode=5 ! кезек ағып жатыр = 2 ! video/x-bayer, ені=1920, биіктігі=1080, формат=rggb! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! бейне/x-raw, формат=NV12 ! tiovxmulticaler target=0 name=split_11 split_11. ! кезек! бейне/x-raw, ені=1110, биіктігі=690 ! tiovxmulticaler target=0 ! video/xraw, ені=300, биіктігі=300! tiovxdlpreproc деректер түрі = 3 арна тәртібі = 1 тензор форматы = rgb outpool-size = 4 ! application/x-tensor-tiovx ! tidlinferer target=1 модель=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_1.tensor split_11. ! кезек! бейне/x-raw, ені=640, биіктігі=360 ! post_1.sink tidlpostproc атауы=post_1 моделі=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-шегі=0.600000 жоғарғы N=5! кезек! мозаика_0. v4l2src құрылғысы=/dev/video4 io-mode=5 ! кезек ағып жатыр = 2 ! video/x-bayer, ені=1920, биіктігі=1080, формат=rggb! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! бейне/x-raw, формат=NV12 ! tiovxmulticaler target=1 name=split_21 split_21. ! кезек! бейне/x-raw, ені=1110, биіктігі=690 ! tiovxmulticaler target=1 ! video/xraw, ені=300, биіктігі=300! tiovxdlpreproc деректер түрі = 3 арна тәртібі = 1 тензор форматы = rgb outpool-size = 4 ! application/x-tensor-tiovx ! tidlinferer target=1 модель=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_2.тензорды бөлу_21. ! кезек! бейне/x-raw, ені=640, биіктігі=360 ! post_2.sink tidlpostproc атауы=post_2 моделі=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-шегі=0.600000 жоғарғы N=5! кезек! мозаика_0.
14
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Анықтамалық дизайн
v4l2src құрылғысы=/dev/video5 io-mode=5 ! кезек ағып жатыр = 2 ! video/x-bayer, ені=1920, биіктігі=1080, формат=rggb! tiovxisp сенсорының атауы=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/ dcc_viss.bin format-msb=7 sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a.bin sink_0::device=/dev/ v4l-subdev2 ! бейне/x-raw, формат=NV12 ! tiovxmulticaler target=1 name=split_31 split_31. ! кезек! бейне/x-raw, ені=1110, биіктігі=690 ! tiovxmulticaler target=1 ! video/xraw, ені=300, биіктігі=300! tiovxdlpreproc деректер түрі = 3 арна тәртібі = 1 тензор форматы = rgb outpool-size = 4 ! application/x-tensor-tiovx ! tidlinferer target=1 модель=/opt/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_3.тензорды бөлу_31. ! кезек! бейне/x-raw, ені=640, биіктігі=360 ! post_3.sink tidlpostproc атауы=post_3 моделі=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 альфа=0.400000 виз-шегі=0.600000 жоғарғы-N=5! кезек! мозаика_0. tiovxmosaic src::pool-size=3 name=mosaic_0 sink_0::startx=”<320>” sink_0::starty=”<180>” sink_0::widths=”<640>” sink_0::heights=”<360>”startx=1:”> sink_960::starty=”<1>” sink_180::widths=”<1>” sink_640::heights=”<1>” sink_360::startx=”<2>” sink_320::starty=”<2>” sink_560::widths=”::heights=2”> sink_640::startx=”<2>” sink_360::starty=”<3>” sink_960::widths=”<3>” sink_560::heights=”<3>” ! video/x-raw,формат=NV640, ені=3, биіктігі=360 ! кезек! tiperfoverlay title=”AM12A: Төрт камера объектісін анықтау” ! kmssink sync=false драйвер аты=tidss force-modesetting=true
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
15
Copyright © 2024 Texas Instruments Incorporated
Өнімділікті талдау
www.ti.com
5 Өнімділік талдауы
V3Link тақтасы мен AM62A SK көмегімен төрт камерамен орнату экранда тікелей көрсету, Ethernet арқылы ағын (төрт UDP арнасы), 4 бөлек жазуды қоса, әртүрлі қолданбалы көріністерде сыналды. files, және терең оқу қорытындыларымен. Әрбір экспериментте біз бүкіл жүйе мүмкіндіктерін зерттеу үшін кадр жиілігін және CPU ядроларының пайдаланылуын бақылап отырдық.
Бұрын 4-4-суретте көрсетілгендей, тереңдетіп оқыту құбыры экранның төменгі жағындағы жолақты график ретінде CPU негізгі жүктемелерін көрсету үшін tiperfoverlay GStreamer плагинін пайдаланады. Әдепкі бойынша, жүктемелерді пайдалану пайызы ретінде көрсету үшін график екі секунд сайын жаңартыладыtage. Tiperfoverlay GStreamer плагиніне қоса, perf_stats құралы ядролардың өнімділігін тікелей терминалда көрсетуге арналған екінші опция болып табылады. file. Бұл құрал tiperfoverlay-мен салыстырғанда дәлірек, өйткені кейінірек графикті салу және оны экранда қабаттастыру үшін Arm өзектеріне және DDR-ге қосымша жүктеме қосады. perf_stats құралы негізінен осы құжатта көрсетілген барлық сынақ жағдайларында аппараттық құралдарды пайдалану нәтижелерін жинау үшін пайдаланылады. Осы сынақтарда зерттелген кейбір маңызды өңдеу ядролары мен үдеткіштеріне негізгі процессорлар (төрт A53 Arm ядросы @ 1.25 ГГц), терең оқыту үдеткіші (C7x-MMA @ 850 МГц), VISS және мультишкалалары бар VPAC (ISP) (MSC0 және MSC1) және DDR операциялары кіреді.
5-1 кестеде төрт камераны дисплейге ағынмен жіберуді, Ethernet арқылы ағынды жіберуді және төрт бөлек камераға жазуды қоса алғанда, үш пайдалану жағдайына арналған төрт камерамен AM62A пайдалану кезінде өнімділік пен ресурстарды пайдалану көрсетілген. fileс. Әрбір пайдалану жағдайында екі сынақ орындалады: тек камерамен және терең үйрену нәтижесімен. Бұған қоса, 5-1-кестедегі бірінші жол пайдаланушы қолданбаларынсыз AM62A құрылғысында операциялық жүйе ғана жұмыс істеген кездегі аппараттық құралдарды пайдалануды көрсетеді. Бұл басқа сынақ жағдайларының аппараттық құралдарды пайдалануын бағалау кезінде салыстыру үшін базалық көрсеткіш ретінде пайдаланылады. Кестеде көрсетілгендей, терең оқытылатын және экран дисплейі бар төрт камера төрт камера үшін барлығы 30 FPS болатын 120 FPS жиілігінде жұмыс істеді. Бұл жоғары кадр жиілігіне терең оқыту үдеткішінің (C86x-MMA) толық сыйымдылығының тек 7% ғана қол жеткізіледі. Сонымен қатар, терең оқыту үдеткіші осы эксперименттерде 850 МГц орнына 1000 МГц жиілігінде болғанын атап өту маңызды, бұл оның максималды өнімділігінің шамамен 85% құрайды.
16
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
Өнімділікті талдау
Кесте 5-1. Экранды көрсету, Ethernet ағыны, жазу үшін 62 IMX4 камерасымен пайдаланылған кезде AM219A өнімділігі (FPS) және ресурстарды пайдалану Files, және Терең оқу қорытындыларын орындау
Қолданба құбырының шығысы
n
(операция
)
FPS орташа FPS құбырының жалпы с
MPUs A53s @ 1.25 ГГц [%]
MCU R5 [%]
DLA (C7xMMA) @ 850 МГц [%]
VISS [%]
MSC0 MSC1 DDR DDR DDR
[%] [%]Rd
Wr
Барлығы
[МБ/с] [МБ/с] [МБ/с]Қолданба жоқ
Базалық NA Операция жоқ
NA
NA
1.87 1
0
0
0
0
560 19
579
30-экранға камера ағыны
тек
Экран
120 12
12
0
70
61
60
1015 757 1782
UDP ағыны: 4 30
120 23
6
0
70
0
0
2071 1390 3461
бітті
порттар
ethernet 1920×1080
4-ке жазыңыз files
30
120 25
3
0
70
0
0
2100 1403 3503
files
1920×1080
Терең камера
Экран 30
Терең
оқу:
оқу объектісі
анықтау
MobV1-
коко
120 38
25
86
71
85
82
2926 1676 4602
Терең оқыту: MobV1coco нысанын анықтау және Ethernet арқылы ағын
UDP: 4 28 порт 1920×1080
112 84
20
99
66
65
72
4157 2563 6720
Терең оқыту: MobV1coco нысанын анықтау және оған жазу files
4 files
28
1920×1080
112 87
22
98
75
82
61
2024 2458 6482
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
17
Copyright © 2024 Texas Instruments Incorporated
Түйіндеме
www.ti.com
6 Түйіндеме
Бұл қолданба есебі AM6x құрылғылар тобында көп камералы қолданбаларды іске асыру жолын сипаттайды. Arducam V3Link Camera Solution Kit және AM62A SK EVM негізіндегі анықтамалық дизайн есепте ағынды жіберу және нысанды анықтау сияқты төрт IMX219 камерасын пайдаланатын бірнеше камера қолданбаларымен қамтамасыз етілген. Пайдаланушыларға Arducam-дан V3Link Camera Solution Kit сатып алуға және осы бұрынғы нұсқаларды көшіруге шақырылады.amples. Есеп сонымен қатар экранға көрсету, Ethernet арқылы ағынмен жіберу және жазуды қоса алғанда, әртүрлі конфигурациядағы төрт камераны пайдалану кезінде AM62A өнімділігінің егжей-тегжейлі талдауын ұсынады. fileс. Сондай-ақ, ол AM62A төрт бөлек камера ағынында параллельді түрде терең оқу қорытындыларын орындау мүмкіндігін көрсетеді. Осы экс-ді іске қосу туралы сұрақтарыңыз болсаamples, TI E2E форумында сұрау жіберіңіз.
18
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
Copyright © 2024 Texas Instruments Incorporated
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
www.ti.com
7 Әдебиеттер
1. AM62A бастапқы жинағы EVM жылдам іске қосу нұсқаулығы 2. ArduCam V3Link камерасының шешімі жылдам іске қосу нұсқаулығы 3. AM62A үшін Edge AI SDK құжаттамасы 4. Энергияны үнемдейтін AM62A процессорын пайдаланатын Edge AI смарт камералары 5. AM62A Drivercy және OA6pan Driver 62AM7 жүйесіндегі камера айна жүйелері. XNUMX. Surround үшін төрт арналы камера қолданбасы View және CMS камера жүйелері 8. CIS-62 сенсорын қосу бойынша AM2Ax Linux академиясы 9. Edge AI ModelZoo 10. Edge AI Studio 11. Perf_stats құралы
Осы қолданбада көрсетілген TI бөліктері Ескертпе: · https://www.ti.com/product/AM62A7 · https://www.ti.com/product/AM62A7-Q1 · https://www.ti.com/product/AM62A3 · https://www.ti.com/product/AM62A3-Q1 · https://www.ti.com/62 ·P/ https://www.ti.com/product/AM62P-Q1 · https://www.ti.com/product/DS90UB960-Q1 · https://www.ti.com/product/DS90UB953-Q1 · https://www.ti.com/product/TDES960 · https://www.ti.com/product/TSER953
Анықтамалар
SPRADH2 АҚПАН 2024 Құжатқа кері байланысты жіберу
AM6x жүйесінде бірнеше камералық қолданбаларды әзірлеу
19
Copyright © 2024 Texas Instruments Incorporated
МАҢЫЗДЫ ЕСКЕРТПЕ ЖӘНЕ БАС ТАРТУ
TI ТЕХНИКАЛЫҚ ЖӘНЕ СЕНІМДІЛІК ДЕРЕКТЕРДІ (МӘЛІМЕТ ПАРАҚТАРЫН СОҢ ОРЫНДА), ЖОБАҢЫЗДЫҚ РЕСУРСТАРДЫ (СОНЫҢ СОҢЫНДА АНЫҚТАМАЛЫҚ ДИЗАЙНДАРДЫ), ҚОЛДАНБАЛАРДЫ НЕМЕСЕ БАСҚА ДЗАЙНДЫҚ КЕҢЕСТЕРДІ, WEB TOOLS, ҚАУІПСІЗДІК ТУРАЛЫ АҚПАРАТ және басқа да ресурстарды «СОЛ ҚАЛПЫНДА» және БАРЛЫҚ зақымдануды және бас тартады БАРЛЫҚ КЕПІЛДІКТЕР, білдіру және ЖАНАМА, НЕПОСЯГАТЕЛЬСТВА ҮШІН БЕЛГІЛІ БІР МАҚСАТҚА НЕМЕСЕ ҮШІНШІ ТАРАП ЗИЯТКЕРЛІК МЕНШІК ҚҰҚЫҚТАРЫН патенттік тазалығын ШЕКТЕУ КЕЗ КЕЛГЕН ТҰСПАЛДЫ КЕПІЛДІКТЕРСІЗ ҚОСА .
Бұл ресурстар TI өнімдерімен жобалайтын білікті әзірлеушілерге арналған. Сіз (1) қолданбаңыз үшін сәйкес TI өнімдерін таңдауға, (2) қолданбаңызды жобалауға, тексеруге және сынауға және (3) қолданбаңыздың қолданыстағы стандарттарға және кез келген басқа қауіпсіздік, қауіпсіздік, реттеу немесе басқа талаптарға сәйкестігін қамтамасыз етуге жауаптысыз. .
Бұл ресурстар ескертусіз өзгертілуі мүмкін. TI бұл ресурстарды ресурста сипатталған TI өнімдерін пайдаланатын қолданбаны әзірлеу үшін ғана пайдалануға рұқсат береді. Бұл ресурстарды басқа көшіруге және көрсетуге тыйым салынады. Кез келген басқа TI зияткерлік меншік құқығына немесе үшінші тараптың зияткерлік меншік құқығына ешқандай лицензия берілмейді. TI жауапкершіліктен бас тартады және сіз TI мен оның өкілдеріне осы ресурстарды пайдалануыңыздан туындайтын кез келген шағымдар, залалдар, шығындар, шығындар және міндеттемелер үшін өтемақы төлейсіз.
TI өнімдері TI сату шарттарына немесе ti.com сайтында қолжетімді немесе осындай TI өнімдерімен бірге берілген басқа қолданылатын шарттарға сәйкес беріледі. TI-ның осы ресурстармен қамтамасыз етілуі TI өнімдеріне қатысты TI-ның қолданылатын кепілдіктерін немесе кепілдік бас тартуларын кеңейтпейді немесе басқаша өзгертпейді.
TI сіз ұсынған кез келген қосымша немесе басқа шарттарға қарсылық білдіреді және олардан бас тартады. МАҢЫЗДЫ ЕСКЕРТПЕ
Пошта мекенжайы: Texas Instruments, пошта жәшігі 655303, Даллас, Техас 75265 Copyright © 2024, Texas Instruments Incorporated
Құжаттар / Ресурстар
 |
Texas Instruments AM6x бірнеше камераны әзірлеуде [pdf] Пайдаланушы нұсқаулығы AM62A, AM62P, AM6x бірнеше камераны әзірлеу, AM6x, бірнеше камераны әзірлеу, бірнеше камера, камера |