Texas Instruments AM6x mitme kaameraga arendusjuhend

Turvavalve: Parandab valveala, objektide jälgimist ja tuvastamise täpsust.
Ümbritsev View: Võimaldab stereonägemist selliste ülesannete jaoks nagu takistuste tuvastamine ja objektidega manipuleerimine.

Salongi salvestaja ja kaamerapeegli süsteem: Pakub laiendatud katvust ja kõrvaldab pimealad.
Meditsiiniline pildistamine: Pakub suuremat täpsust kirurgilises navigeerimises ja endoskoopias.

Droonid ja õhust pildistamine: Jäädvustage erinevate rakenduste jaoks kõrglahutusega pilte erinevate nurkade alt.

Mitme CSI-2 kaamera ühendamine SoC-ga:
Mitme CSI-2 kaamera ühendamiseks SoC-ga järgige kasutusjuhendis toodud juhiseid. Veenduge, et iga kaamera oleks SoC-i määratud portidega õigesti joondatud ja ühendatud.

Rakendusmärkus
Mitme kaameraga rakenduste arendamine AM6x-il

Jianzhong Xu, Qutaiba Saleh

KOKKUVÕTE
See aruanne kirjeldab rakenduste arendamist, kasutades AM2x seadmete perekonnas mitut CSI-6 kaamerat. Esitatakse AM4A kiibistiku neljal kaameral objektide tuvastamise ja süvaõppe võrdlusdisain koos jõudlusanalüüsiga. Disaini üldpõhimõtted kehtivad ka teistele CSI-62 liidesega kiibistikele, näiteks AM2x ja AM62P.

Sissejuhatus

Sisseehitatud kaamerad mängivad tänapäevastes nägemissüsteemides olulist rolli. Mitme kaamera kasutamine süsteemis laiendab nende süsteemide võimalusi ja annab võimalusi, mis pole ühe kaameraga võimalikud. Allpool on toodud mõned näited...amprakenduste hulk, mis kasutavad mitut sisseehitatud kaamerat:

Turvavalve: Mitmed strateegiliselt paigutatud kaamerad pakuvad ulatuslikku valveülesannet. Need võimaldavad panoraamfotode tegemist. views, vähendada pimealasid ning parandada objektide jälgimise ja tuvastamise täpsust, parandades üldiseid turvameetmeid.
Ümbritsev ViewStereo-nägemise seadistuse loomiseks kasutatakse mitut kaamerat, mis võimaldab kolmemõõtmelist teavet ja sügavuse hindamist. See on ülioluline selliste ülesannete puhul nagu takistuste tuvastamine autonoomsetes sõidukites, täpne objektide manipuleerimine robootikas ja liitreaalsuse kogemuste täiustatud realistlikkus.

Salongi salvesti ja kaamerapeeglisüsteem: Mitme kaameraga auto salongi salvesti suudab ühe protsessori abil pakkuda laiemat katvust. Samamoodi saab kahe või enama kaameraga kaamerapeeglisüsteem laiendada juhi vaatevälja. view ja kõrvaldada pimedad nurgad auto igalt poolt.
Meditsiiniline pildistamine: Meditsiinilises pildistamises saab kirurgilise navigeerimise jaoks kasutada mitut kaamerat, pakkudes kirurgidele mitut perspektiivi suurema täpsuse saavutamiseks. Endoskoopia puhul võimaldavad mitmed kaamerad siseorganeid põhjalikult uurida.

Droonid ja õhust pildistamine: Droonid on sageli varustatud mitme kaameraga, et jäädvustada kõrglahutusega pilte või videoid erinevate nurkade alt. See on kasulik sellistes rakendustes nagu õhust pildistamine, põllumajanduse jälgimine ja maamõõtmine.
Mikroprotsessorite arenguga saab mitu kaamerat integreerida ühte kiibisüsteemi.
(SoC) kompaktsete ja tõhusate lahenduste pakkumiseks. AM62Ax SoC, millel on suure jõudlusega video-/nägemisprotsessor ja süvaõppe kiirendus, on ideaalne seade ülalmainitud kasutusjuhtudeks. Teine AM6x seade, AM62P, on loodud suure jõudlusega manustatud 3D-kuvamisrakenduste jaoks. 3D-graafikakiirendusega varustatud AM62P suudab hõlpsalt mitme kaamera pilte kokku liita ja luua suure eraldusvõimega panoraamfoto. viewAM62A/AM62P SoC uuenduslikke omadusi on esitletud erinevates publikatsioonides, näiteks [4], [5], [6] jne. Käesolev rakendusmärkus ei korda nende omaduste kirjeldusi, vaid keskendub hoopis mitme CSI-2 kaamera integreerimisele AM62A/AM62P sisseehitatud nägemisrakendustesse.

Tabel 1-1 näitab AM62A ja AM62P peamisi erinevusi pilditöötluse osas.

Tabel 1-1. AM62A ja AM62P erinevused pilditöötluses

SoC	AM62A	AM62P
Toetatud kaameratüüp	Sisseehitatud internetiteenuse pakkujaga või ilma	Sisseehitatud internetiteenuse pakkujaga
Kaamera väljundandmed	Toores/YUV/RGB	YUV/RGB
Interneti-teenuse pakkuja HWA	Jah	Ei
Süvaõppe HWA	Jah	Ei
3D-graafika HWA	Ei	Jah

Mitme CSI-2 kaamera ühendamine SoC-ga
AM6x SoC kaamera alamsüsteem sisaldab järgmisi komponente, nagu on näidatud joonisel 2-1:

MIPI D-PHY vastuvõtja: võtab vastu videovooge välistelt kaameratelt, toetades kuni 1.5 Gbps andmerea kohta 4 rajal.

CSI-2 vastuvõtja (RX): võtab vastu videovooge D-PHY vastuvõtjalt ja saadab need kas otse internetiteenuse pakkujale või kopeerib andmed DDR-mällu. See moodul toetab kuni 16 virtuaalset kanalit.
SHIM: DMA-ümbris, mis võimaldab jäädvustatud vooge DMA kaudu mällu saata. Selle ümbrisega saab luua mitu DMA-konteksti, kusjuures iga kontekst vastab CSI-2 vastuvõtja virtuaalsele kanalile.

AM6x-il saab CSI-2 RX virtuaalsete kanalite abil toetada mitut kaamerat, isegi kui süsteemikilbil on ainult üks CSI-2 RX liides. Mitme kaameravoo ühendamiseks ja ühte süsteemikilpi saatmiseks on vaja välist CSI-2 agregeerimiskomponenti. Kasutada saab kahte tüüpi CSI-2 agregeerimislahendusi, mida on kirjeldatud järgmistes osades.

CSI-2 agregaator, mis kasutab SerDes'i
Üks viis mitme kaameravoo kombineerimiseks on kasutada serialiseerimise ja deserialiseerimise (SerDes) lahendust. Iga kaamera CSI-2 andmed teisendatakse serialiseerija abil ja edastatakse kaabli kaudu. Deserialiseerija võtab vastu kõik kaablitest (üks kaabel kaamera kohta) edastatud serialiseeritud andmed, teisendab vood tagasi CSI-2 andmeteks ja saadab seejärel põimitud CSI-2 voo SoC ühele CSI-2 RX liidesele. Iga kaameravoogu identifitseerib unikaalne virtuaalne kanal. See koondav lahendus pakub lisaeeliseks kuni 15 m kauguseühendust kaamerate ja SoC vahel.

AM3x Linux SDK-s toetatud FPD-Linki või V6-Linki serialiseerijad ja deserialiseerijad (SerDes) on seda tüüpi CSI-2 agregeerimislahenduse jaoks kõige populaarsemad tehnoloogiad. Nii FPD-Linki kui ka V3-Linki deserialiseerijatel on tagumised kanalid, mida saab kasutada kaadri sünkroniseerimissignaalide saatmiseks kõigi kaamerate sünkroonimiseks, nagu on selgitatud artiklis [7].
Joonis 2-2 näitab eksampNäiteks SerDes'i kasutamine mitme kaamera ühendamiseks ühe AM6x SoC-ga.

EndineampSelle koondava lahenduse näite leiate Arducami V3Linki kaameralahenduste komplektist. See komplekt sisaldab deserialiseerija jaoturit, mis koondab 4 CSI-2 kaameravoogu, samuti 4 paari V3linki serialiseerijaid ja IMX219 kaameraid, sealhulgas FAKRA koaksiaalkaablid ja 22-kontaktilised FPC-kaablid. Hiljem käsitletav võrdlusdisain on üles ehitatud sellele komplektile.

CSI-2 agregaator ilma SerDes'i kasutamata
Seda tüüpi agregaator saab otse suhelda mitme MIPI CSI-2 kaameraga ja koondada kõigi kaamerate andmed ühte CSI-2 väljundvoogu.

Joonis 2-3 näitab eksampsellise süsteemi le. Seda tüüpi koondamislahendus ei kasuta serialiseerijat/deserialiseerijat, kuid seda piirab CSI-2 andmeedastuse maksimaalne kaugus, mis on kuni 30 cm. AM6x Linux SDK ei toeta seda tüüpi CSI-2 agregaatorit.

Mitme kaamera lubamine tarkvaras

Kaamera alamsüsteemi tarkvaraarhitektuur
Joonis 3-1 näitab AM62A/AM62P Linux SDK kaamera jäädvustamissüsteemi tarkvara kõrgetasemelist plokkskeemi, mis vastab joonisel 2-2 kujutatud riistvarasüsteemile.

See tarkvaraarhitektuur võimaldab SoC-l SerDesi abil vastu võtta mitut kaameravoogu, nagu on näidatud joonisel 2-2. FPD-Link/V3-Link SerDes määrab igale kaamerale unikaalse I2C aadressi ja virtuaalse kanali. Iga kaamera jaoks tuleks luua unikaalne seadmepuu koos unikaalse I2C aadressiga. CSI-2 RX draiver tunneb iga kaamera ära unikaalse virtuaalse kanali numbri abil ja loob iga kaameravoo jaoks DMA konteksti. Iga DMA konteksti jaoks luuakse videosõlm. Seejärel võetakse igalt kaameralt andmed vastu ja salvestatakse DMA abil vastavalt mällu. Kasutajaruumi rakendused kasutavad kaameraandmetele juurdepääsuks igale kaamerale vastavaid videosõlmi. NäiteksampSelle tarkvaraarhitektuuri kasutamise nipid on esitatud 4. peatükis – Võrdlusdisain.
Iga konkreetne sensoridraiver, mis ühildub V4L2 raamistikuga, saab selle arhitektuuriga automaatselt ühendada. Uue sensoridraiveri Linux SDK-sse integreerimise kohta vaadake [8].

Pilditorustiku tarkvaraarhitektuur

AM6x Linux SDK pakub GStreameri (GST) raamistikku, mida saab kasutada serveriruumis pilditöötluskomponentide integreerimiseks erinevate rakenduste jaoks. Süsteemikiibri riistvarakiirenditele (HWA), näiteks Vision Pre-processing Accelerator (VPAC) või ISP, videokooder/dekooder ja süvaõppe arvutusmootor, pääseb ligi GST kaudu. pluginsVPAC-il (ISP) endal on mitu plokki, sealhulgas nägemispildi allsüsteem (VISS), läätse moonutuste korrigeerimine (LDC) ja multiskalaar (MSC), millest igaüks vastab GST pluginale.

Joonis 3-2 näitab tüüpilise pildikanali plokkskeemi kaamerast kodeerimisse või süvaporti.
õpperakendused AM62A-l. Lisateavet otsast lõpuni andmevoo kohta leiate EdgeAI SDK dokumentatsioonist.

AM62P puhul on pildikonveier lihtsam, kuna AM62P-l puudub internetiteenuse pakkuja (ISP).

Kuna iga kaamera jaoks on loodud videosõlm, võimaldab GStreameri-põhine pilditorustik samaaegselt töödelda mitme kaamera sisendit (mis on ühendatud sama CSI-2 RX liidese kaudu). Järgmises peatükis on esitatud GStreamerit kasutav mitme kaameraga rakenduste võrdlusdisain.

Viide Disain

Selles peatükis esitatakse mitme kaameraga rakenduste käitamise võrdlusdisain AM62A EVM-il, kasutades Arducam V3Link kaamera lahenduskomplekti 4 CSI-2 kaamera ühendamiseks AM62A-ga ja objektide tuvastamise käivitamiseks kõigi 4 kaamera jaoks.

Toetatud kaamerad
Arducam V3Link komplekt töötab nii FPD-Link/V3-Link-põhiste kaamerate kui ka Raspberry Pi-ga ühilduvate CSI-2 kaameratega. Testitud on järgmisi kaameraid:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219 kaamerad Arducami V3Linki kaameralahenduste komplektis

Nelja IMX219 kaamera seadistamine
Järgige AM62A alustuskomplekti EVM kiirjuhendis antud juhiseid SK-AM62A-LP EVM-i (AM62A SK) ja ArduCam V3Link kaameralahenduse kiirjuhendi seadistamiseks, et ühendada kaamerad AM62A SK-ga V3Link komplekti kaudu. Veenduge, et painduvate kaablite, kaamerate, V3Link plaadi ja AM62A SK tihvtid oleksid kõik õigesti joondatud.

Joonis 4-1 näitab käesolevas aruandes kasutatud võrdlusprojekti seadistust. Seadistuse peamised komponendid on järgmised:

1x SK-AM62A-LP EVM-plaat
1X Arducam V3Link d-ch adapterplaat
FPC-kaabel, mis ühendab Arducam V3Linki SK-AM62A-ga

4X V3Link kaameraadapterit (serialiseerijad)
4x RF koaksiaalkaablit V3Linki serialisaatorite ühendamiseks V3Linki d-kanalite komplektiga
4X IMX219 kaamerat

4X CSI-2 22-pin kaablit kaamerate ühendamiseks serialisaatoritega
Kaablid: HDMI-kaabel, USB-C SK-AM62A-LP toiteks ja 12 V toiteallikas V3Link D-kanaliga komplekti jaoks)
Muud joonisel 4-1 mittenäidatud komponendid: micro-SD-kaart, micro-USB-kaabel SK-AM62A-LP-le juurdepääsuks ja Ethernet voogesituse jaoks

Kaamerate ja CSI-2 RX liidese seadistamine
Seadistage tarkvara vastavalt Arducam V3Linki kiirjuhendis toodud juhistele. Pärast kaamera seadistusskripti setup-imx219.sh käivitamist konfigureeritakse õigesti kaamera formaat, CSI-2 RX liidese formaat ja marsruudid igast kaamerast vastavasse videosõlme. Nelja IMX219 kaamera jaoks luuakse neli videosõlme. Käsk „v4l2-ctl –list-devices” kuvab kõik V4L2 videoseadmed, nagu allpool näidatud:

tiscsi6rx all on 1 videosõlme ja 2 meediasõlm. Iga videosõlm vastab CSI2 RX draiveri poolt eraldatud DMA kontekstile. 6 videosõlmest 4 on kasutusel 4 IMX219 kaamera jaoks, nagu on näidatud allolevas meediakanali topoloogias:

Nagu ülalpool näidatud, on meediaüksusel 30102000.ticsi2rx 6 allikapadi, kuid kasutatakse ainult esimesi 4, igaüks ühe IMX219 jaoks. Meediakanali topoloogiat saab illustreerida ka graafiliselt. Punkti genereerimiseks käivitage järgmine käsk. file:

Seejärel käivitage PNG loomiseks Linuxi hostarvutis allolev käsk file:

Joonis 4-2 on ülaltoodud käskude abil genereeritud pilt. Joonisel 3-1 kujutatud tarkvaraarhitektuuri komponendid on sellel graafikul näha.

Striimimine neljast kaamerast
Kui nii riist- kui ka tarkvara on õigesti seadistatud, saavad kasutajaruumist käivitada mitme kaameraga rakendusi. AM62A puhul tuleb ISP-d hea pildikvaliteedi saavutamiseks häälestada. ISP häälestamise kohta vaadake AM6xA ISP häälestamise juhendit. Järgmistes osades on toodud näited...ampkaameraandmete voogesitamine ekraanile, kaameraandmete voogesitamine võrku ja kaameraandmete salvestamine files.

Kaameraandmete voogesitus ekraanile
Selle mitme kaameraga süsteemi põhirakendus on videote voogesitamine kõigist kaameratest sama süsteemikiire (SoC) külge ühendatud ekraanile. Järgnev on GStreameri torujuhtme näide.ampnelja IMX219 voogesituse kuvarile näide (videosõlmede numbrid ja v4l-subdev numbrid torujuhtmes muutuvad tõenäoliselt iga taaskäivituse järel).

Kaameraandmete voogesitus Etherneti kaudu
Sama SoC-ga ühendatud ekraanile voogesituse asemel saab kaameraandmeid voogesitada ka Etherneti kaudu. Vastuvõttev pool võib olla kas teine AM62A/AM62P protsessor või hostarvuti. Järgnev on näideampKaameraandmete voogesituse näide Etherneti kaudu (lihtsuse mõttes kahe kaamera kasutamine) (pange tähele torujuhtmes kasutatavat kodeerija pluginat):

Järgmine on endineampKaameraandmete vastuvõtmise ja teise AM62A/AM62P protsessori ekraanile voogesitamise näide:

Kaameraandmete salvestamine Files
Ekraanile või võrgu kaudu voogesituse asemel saab kaameraandmeid salvestada kohalikku mällu. files. Allolev torujuhe salvestab iga kaamera andmed file (kasutades kahte kaamerat eksimusenaamplihtsuse mõttes).

Mitmekaameraline süvaõppe järeldus

AM62A on varustatud süvaõppe kiirendiga (C7x-MMA) kuni kahe TOPS-iga, mis on võimelised käitama erinevat tüüpi süvaõppe mudeleid klassifitseerimiseks, objektide tuvastamiseks, semantiliseks segmenteerimiseks ja muuks. See osa näitab, kuidas AM62A saab samaaegselt käitada nelja süvaõppe mudelit neljal erineval kaameravool.

Mudeli valik
TI EdgeAI-ModelZoo pakub sadu tipptasemel mudeleid, mis teisendatakse/eksporditakse nende algsetest treeningraamistikest manussüsteemisõbralikku vormingusse, et neid saaks C7x-MMA süvaõppekiirendisse üles laadida. Pilvepõhine Edge AI Studio mudelianalüsaator pakub hõlpsasti kasutatavat mudelivaliku tööriista. Seda värskendatakse dünaamiliselt, et see hõlmaks kõiki TI EdgeAI-ModelZoo poolt toetatud mudeleid. Tööriist ei vaja eelnevat kogemust ja pakub hõlpsasti kasutatavat liidest soovitud mudelis vajalike funktsioonide sisestamiseks.

Selle mitme kaameraga süvaõppe eksperimendi jaoks valiti TFL-OD-2000-ssd-mobV1-coco-mlperf. See mitme objekti tuvastamise mudel on välja töötatud TensorFlow raamistikus 300×300 sisendresolutsiooniga. Tabel 4-1 näitab selle mudeli olulisi omadusi, kui seda on treenitud umbes 80 erineva klassiga cCOCO andmestikul.

Tabel 4-1. Mudeli TFL-OD-2000-ssd-mobV1-coco-mlperf olulisemad omadused.

Mudel	Ülesanne	Resolutsioon	FPS	mAP 50% Täpsus COCO-l	Latentsus/kaader (ms)	DDR BW Kasutus (MB/kaader)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Mitme objekti tuvastamine	300 × 300	~152	15.9	6.5	18.839

Torujuhtme seadistamine
Joonis 4-3 näitab 4-kaameraga süvaõppe GStreameri torujuhet. TI pakub GStreameri komplekti. plugins mis võimaldavad osa meediatöötlusest ja süvaõppe järeldustest riistvarakiirendite hooleks suunata. Mõned näitedampvähem neid plugins hõlmavad tiovxisp, tiovxmultiscaler, tiovxmosaic ja tidlinferer. Joonisel 4-3 olev torujuhe sisaldab kõiki vajalikke plugins mitmeteelise GStreameri torujuhtme jaoks 4 kaamera sisendite jaoks, millest igaühel on meedia eeltöötlus, süvaõppe järeldus ja järeltöötlus. Dubleeritud plugins Lihtsama demonstreerimise huvides on iga kaameratee graafikul virnastatud.
Saadaval olevad riistvararessursid on nelja kaameratee vahel ühtlaselt jaotatud. Näiteks AM62A sisaldab kahte pildi multiskaleerijat: MSC0 ja MSC1. Konveier pühendab MSC0 otseselt kaamera 1 ja kaamera 2 tee töötlemisele, samas kui MSC1 on pühendatud kaamerale 3 ja kaamerale 4.

Nelja kaamera torujuhtme väljund skaleeritakse ja liidetakse kokku tiovxmosaic plugina abil. Väljund kuvatakse ühel ekraanil. Joonis 4-4 näitab nelja kaamera väljundit süvaõppe mudeli abil, mis käitab objektide tuvastamist. Iga torujuhe (kaamera) töötab kiirusel 30 kaadrit sekundis ja kokku 120 kaadrit sekundis.

Järgmisena on joonisel 4-3 näidatud mitme kaameraga süvaõppe kasutusjuhtumi täielik torujuhtme skript.

Tulemuslikkuse analüüs

Nelja kaameraga V3Linki plaati ja AM62A SK-d kasutavat seadistust testiti erinevates rakendusstsenaariumides, sealhulgas otse ekraanil kuvamine, voogesitus Etherneti kaudu (neli UDP kanalit), salvestamine nelja eraldi kaamerasse files ja süvaõppe järelduste abil. Igas katses jälgisime kaadrisagedust ja protsessori tuumade kasutamist, et uurida kogu süsteemi võimalusi.

Nagu joonisel 4-4 varem näidatud, kasutab süvaõppe torujuhe tiperfoverlay GStreamer pluginat, et kuvada protsessori põhikoormust ekraani allosas tulpdiagrammina. Vaikimisi uuendatakse graafikut iga kahe sekundi järel, et kuvada koormust kasutusprotsendina.tage. Lisaks tiperfooverlay GStreameri pluginale on perf_stats tööriist teine võimalus põhijõudluse kuvamiseks otse terminalis koos salvestamise võimalusega fileSee tööriist on täpsem võrreldes tTiperfooverlayga, kuna viimane lisab ARMm-südamikele ja DDR-mälule lisakoormust graafiku joonistamiseks ja ekraanile kuvamiseks. Tööriista perf_stats kasutatakse peamiselt riistvara kasutustulemuste kogumiseks kõigis selles dokumendis näidatud testijuhtumites. Mõned olulised nendes testides uuritud töötlemissüdamikud ja kiirendid hõlmavad peamisi protsessoreid (neli A53 Arm-südamikku sagedusel 1.25 GHz), süvaõppe kiirendit (C7x-MMA sagedusel 850 MHz), VPAC-i (ISP) koos VISS-i ja multiskaleerijatega (MSC0 ja MSC1) ning DDR-operatsioone.

Tabel 5-1 näitab AM62A jõudlust ja ressursikasutust nelja kaameraga kolmel kasutusjuhul, sealhulgas nelja kaamera voogedastus ekraanile, voogedastus Etherneti kaudu ja salvestamine nelja eraldi seadmesse. files. Igas kasutusjuhus rakendatakse kaks testi: ainult kaameraga ja süvaõppe järeldusega. Lisaks näitab tabeli 5-1 esimene rida riistvara kasutust ajal, mil AM62A-l töötas ainult operatsioonisüsteem ilma kasutajarakendusteta. Seda kasutatakse võrdlusalusena teiste testide riistvara kasutuse hindamisel. Nagu tabelis näidatud, töötasid neli süvaõppe ja ekraanikuvaga kaamerat igaüks 30 kaadrit sekundis, kokku 120 kaadrit sekundis nelja kaamera kohta. See kõrge kaadrisagedus saavutatakse vaid 86% süvaõppe kiirendi (C7x-MMA) täisvõimsusel. Lisaks on oluline märkida, et süvaõppe kiirendit töötati nendes katsetes 850 MHz-ga 1000 MHz asemel, mis on umbes vaid 85% selle maksimaalsest jõudlusest.

Tabel 5-1. AM62A jõudlus (FPS) ja ressursikasutus nelja IMX4 kaameraga ekraanikuva, Etherneti voogedastuse ja salvestamise jaoks. Fileja süvaõppe järeldamise teostamine

Applicatio n	Torujuhe (operatsioon) )	Väljund	FPS keskmine torujuhtme s	FPS kokku	MPU-d A53 kiirusel 1.25 GHz [%]	Mikrokontroller R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Kokku [MB/s]
Rakendust pole	Lähteseisund Operatsiooni ei toimu	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kaamera ainult	Voog ekraanile	Ekraan	30	120	12	12	0	70	61	60	1015	757	1782
	Voogedastus Etherneti kaudu	UDP: 4 pordid 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Salvestus juurde files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam süvaõppega	Sügavõpe: objektide tuvastamine MobV1-coco	Ekraan	30	120	38	25	86	71	85	82	2926	1676	4602
	Sügavõpe: objektide tuvastamine MobV1-coco ja voog Etherneti kaudu	UDP: 4 pordid 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Sügavõpe: objektide tuvastamine MobV1-coco ja salvestamine files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Kokkuvõte
See rakendusaruanne kirjeldab, kuidas rakendada mitme kaameraga rakendusi AM6x seadmete perekonnas. Aruandes on esitatud Arducami V3Linki kaameralahenduste komplektil ja AM62A SK EVM-il põhinev võrdlusdisain, kus mitmed kaamerarakendused kasutavad nelja IMX219 kaamerat, näiteks voogedastus ja objektide tuvastamine. Kasutajatel soovitatakse hankida Arducamilt V3Linki kaameralahenduste komplekt ja neid näiteid kopeerida.ampAruandes antakse ka AM62A jõudluse üksikasjalik analüüs nelja kaamera kasutamisel erinevates konfiguratsioonides, sealhulgas ekraanil kuvamine, voogesitus Etherneti kaudu ja salvestamine files. See näitab ka AM62A võimet teostada süvaõppe järeldusi paralleelselt nelja eraldi kaameravoo abil. Kui teil on küsimusi nende näidete käitamise kohtaampPalun esitage päring TI E2E foorumis.

Viited

AM62A algajate komplekti EVM kiirjuhend

ArduCam V3Link kaameralahenduse kiirjuhend
Edge AI SDK dokumentatsioon AM62A jaoks
Edge AI nutikaamerad, mis kasutavad energiatõhusat AM62A protsessorit

AM62A kaamerapeegli süsteemid
Juhi ja autode täituvuse jälgimissüsteemid AM62A-l
Neljakanalilise kaamera rakendus ruumilise heli jaoks View ja CMS-kaamerasüsteemid

AM62Ax Linuxi Akadeemia CIS-2 anduri lubamise kohta
Edge AI ModelZoo
Edge AI stuudio

Perf_stats tööriist

Selles taotluse märkuses viidatud TI osad:

https://www.ti.com/product/AM62A7

OLULINE MÄRKUS JA LAHTIÜTLUS

TI PAKUB TEHNILISI JA USALDUSVÕIME ANDMEID (SH ANDMELEHTID), PROJEKTEERIMISRESSURSSID (SEALHINGUD DISAINID), RAKENDUS- VÕI MUUD DISAININÕUSTUSED, WEB TÖÖRIISTAD, OHUTUSTEAVE JA MUUD RESSURSID „NAGU ON” NING KÕIGI VEADEGA NING LAOTUB KÕIGEST OTSESELT JA KAUDSELT GARANTIIDEST, SEALHULGAS PIIRAMATU KAUBANDUSLIKUTE KAUBANDUSLIKUTE VÕIMALUSTE VÕI KAUBANDUSLIKUTE VÕIMALUSTE VÕIMALUSTE KAUDSETE GARANTIIDEST .

Need ressursid on mõeldud kvalifitseeritud arendajatele, kes projekteerivad TI tooteid. Teie vastutate ainuisikuliselt

oma rakenduse jaoks sobivate TI-toodete valimine,

teie rakenduse kavandamine, valideerimine ja testimine ning
tagades, et teie rakendus vastab kohaldatavatele standarditele ja kõigile muudele ohutus-, turvalisus-, regulatiivsetele või muudele nõuetele.

Neid ressursse võidakse ette teatamata muuta. TI lubab teil neid ressursse kasutada ainult sellise rakenduse arendamiseks, mis kasutab ressursis kirjeldatud TI tooteid. Nende ressursside muu reprodutseerimine ja kuvamine on keelatud. Litsentsi ei anta ühelegi teisele TI intellektuaalomandi õigusele ega ühelegi kolmanda osapoole intellektuaalomandi õigusele. TI ei vastuta ja te hüvitate TI-le ja tema esindajatele täielikult kõik nõuded, kahjud, kulud, kaod ja kohustused, mis tulenevad teiepoolsest nende ressursside kasutamisest.

TI tooteid pakutakse vastavalt TI müügitingimustele või muudele kohaldatavatele tingimustele, mis on saadaval kas ti.com või tarnitakse koos selliste TI-toodetega. TI pakutav nende ressursside pakkumine ei laienda ega muuda muul viisil TI kohaldatavaid garantiisid ega TI toodete garantiist lahtiütlemisi.

TI on vastu ja lükkab tagasi kõik teie pakutud täiendavad või erinevad tingimused.

TÄHTIS MÄRKUS

Postiaadress: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Korduma kippuvad küsimused

K: Kas ma saan AM6x seadmete perekonnaga kasutada mis tahes tüüpi kaamerat?

AM6x seeria kaamerad toetavad erinevat tüüpi kaameraid, sh nii sisseehitatud ISP-ga kui ka ilma selleta. Lisateavet toetatud kaameratüüpide kohta leiate spetsifikatsioonidest.

Millised on AM62A ja AM62P peamised erinevused pilditöötluses?

Peamised erinevused hõlmavad toetatud kaameratüüpe, kaamera väljundandmeid, internetiteenuse pakkuja (ISP) HWA, süvaõppe HWA ja 3D-graafika HWA olemasolu. Üksikasjaliku võrdluse leiate spetsifikatsioonide jaotisest.

Dokumendid / Ressursid

Texas Instruments AM6x arendab mitut kaamerat [pdfKasutusjuhend
AM62A, AM62P, AM6x Mitme kaamera arendus, AM6x, Mitme kaamera arendus, Mitme kaamera, Kaamera

Viited

Kasutusjuhend

Texas Instruments AM6x arendab mitut kaamerat

Tehnilised andmed