Texas Instruments AM6x þróar margar myndavélar

Tæknilýsing

• Vöruheiti: AM6x fjölskylda tækja
• Studd myndavélartegund: AM62A (með eða án innbyggðs internetþjónustuaðila), AM62P (með innbyggðum internetþjónustuaðila)
• Myndavélarúttaksgögn: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• Netþjónn með vélbúnaði: AM62A (Já), AM62P (Nei)
• Djúpnáms-HWA: AM62A (Já), AM62P (Nei)
• 3-D grafík HWA: AM62A (Nei), AM62P (Já)

Kynning á fjölmyndavélaforritum á AM6x:

• Innbyggðar myndavélar gegna lykilhlutverki í nútíma sjónskerfum.
• Notkun margra myndavéla í kerfi eykur getu og gerir kleift að klára verkefni sem ekki er hægt að framkvæma með einni myndavél.

Forrit sem nota margar myndavélar:

• Öryggiseftirlit: Bætir eftirlitssvæði, rakningu hluta og nákvæmni greiningar.
• Umhverfi View: Gerir kleift að sjá hlutina í stereó fyrir verkefni eins og að greina hindranir og meðhöndla þá.
• Upptökutæki fyrir farþegarými og spegilmyndavél: Veitir lengri þekju og útrýmir blindum blettum.
• Læknisfræðileg myndgreining: Býður upp á aukna nákvæmni í skurðaðgerðarleiðsögn og speglun.
• Drónar og loftmyndatökur: Taktu myndir í hárri upplausn úr mismunandi sjónarhornum fyrir ýmis forrit.

Að tengja margar CSI-2 myndavélar við SoC:
Til að tengja margar CSI-2 myndavélar við SoC-ið skal fylgja leiðbeiningunum í notendahandbókinni. Gakktu úr skugga um að hver myndavél sé rétt stillt og tengd við tilgreind tengi á SoC-inu.

Umsóknarathugið
Þróun forrita með mörgum myndavélum á AM6x

Jianzhong Xu, Qutaiba Saleh

ÁSTANDUR
Þessi skýrsla lýsir þróun forrita með því að nota margar CSI-2 myndavélar á AM6x fjölskyldu tækja. Kynnt er viðmiðunarhönnun fyrir hlutagreiningu með djúpnámi á fjórum myndavélum á AM4A SoC ásamt afköstagreiningu. Almennar meginreglur hönnunarinnar eiga við um aðrar SoC-einingar með CSI-62 tengi, svo sem AM2x og AM62P.

Inngangur

Innbyggðar myndavélar gegna mikilvægu hlutverki í nútíma sjónskerfum. Notkun margra myndavéla í kerfi eykur getu þessara kerfa og gerir kleift að nota aðra eiginleika sem ekki eru mögulegir með einni myndavél. Hér að neðan eru nokkur dæmiampFjöldi forrita sem nota margar innbyggðar myndavélar:

• Öryggiseftirlit: Margar myndavélar sem staðsettar eru á stefnumiðaðan hátt veita alhliða eftirlitssvæði. Þær gera kleift að sjá um víðsýni. views, draga úr blindum blettum og auka nákvæmni hlutarakningar og greiningar, sem bætir almennar öryggisráðstafanir.
• Umhverfi ViewMargar myndavélar eru notaðar til að búa til steríómyndauppsetningu, sem gerir kleift að fá þrívíddarupplýsingar og meta dýpt. Þetta er mikilvægt fyrir verkefni eins og hindrunargreiningu í sjálfkeyrandi ökutækjum, nákvæma meðhöndlun hluta í vélmennum og aukna raunsæi í viðbótarveruleikaupplifunum.
• Upptökutæki fyrir farþegarými og spegilmyndavélakerfi: Upptökutæki fyrir farþegarými bíls með mörgum myndavélum getur veitt meiri umfang með einum örgjörva. Á sama hátt getur spegilmyndavélakerfi með tveimur eða fleiri myndavélum aukið sjónsvið ökumannsins. view og útrýma blindum blettum frá öllum hliðum bílsins.
• Læknisfræðileg myndgreining: Hægt er að nota margar myndavélar í læknisfræðilegri myndgreiningu fyrir verkefni eins og skurðaðgerðarleiðsögn, sem veitir skurðlæknum fjölbreytt sjónarhorn fyrir aukna nákvæmni. Í speglun gera margar myndavélar kleift að skoða innri líffæri ítarlega.
• Drónar og loftmyndataka: Drónar eru oft búnir mörgum myndavélum til að taka myndir eða myndbönd í hárri upplausn frá mismunandi sjónarhornum. Þetta er gagnlegt í forritum eins og loftmyndatöku, landbúnaðareftirliti og landmælingum.
• Með framþróun örgjörva er hægt að samþætta margar myndavélar í eitt kerfi á örgjörva.
  (SoC) til að bjóða upp á samþjappaðar og skilvirkar lausnir. AM62Ax SoC, með afkastamiklum myndvinnslu-/myndvinnslu og djúpnámshröðun, er tilvalið tæki fyrir ofangreind notkunartilvik. Annað AM6x tæki, AM62P, er hannað fyrir afkastamikil innbyggð 3D skjáforrit. Með 3D grafíkhröðun getur AM62P auðveldlega sett saman myndir úr mörgum myndavélum og búið til háskerpu víðmynd. viewNýstárlegar aðgerðir AM62A/AM62P SoC hafa verið kynntar í ýmsum ritum, svo sem [4], [5], [6] o.s.frv. Þessi notkunarleiðbeining mun ekki endurtaka þessar eiginleikalýsingar heldur einbeita sér að því að samþætta margar CSI-2 myndavélar í innbyggð sjónforrit á AM62A/AM62P.
• Tafla 1-1 sýnir helstu muninn á AM62A og AM62P hvað varðar myndvinnslu.

Tafla 1-1. Munurinn á AM62A og AM62P í myndvinnslu

SoC	AM62A	AM62P
Studd myndavélartegund	Með eða án innbyggðs internetþjónustuaðila	Með innbyggðum internetþjónustuaðila
Úttaksgögn myndavélar	Hrá/YUV/RGB	YUV/RGB
Netþjónustuaðili HWA	Já	Nei
HWA fyrir djúpnám	Já	Nei
3-D grafík HWA	Nei	Já

Að tengja margar CSI-2 myndavélar við SoC
Myndavélakerfið á AM6x SoC inniheldur eftirfarandi íhluti, eins og sýnt er á mynd 2-1:

• MIPI D-PHY móttakari: tekur við myndstrauma frá ytri myndavélum og styður allt að 1.5 Gbps á gagnabraut fyrir 4 brautir.
• CSI-2 móttakari (RX): tekur við myndstrauma frá D-PHY móttakaranum og sendir þá annað hvort beint til internetþjónustuaðilans eða afhendir gögnin í DDR minni. Þessi eining styður allt að 16 sýndarrásir.
• SHIM: DMA-umbúðir sem gera kleift að senda upptekna strauma í minni með DMA. Þessi umbúðir geta búið til margar DMA-samhengi, þar sem hvert samhengi samsvarar sýndarrás CSI-2 móttakarans.

Hægt er að styðja margar myndavélar á AM6x með því að nota sýndarrásir CSI-2 RX, jafnvel þótt aðeins eitt CSI-2 RX tengi sé á SoC. Ytri CSI-2 samantektarþáttur er nauðsynlegur til að sameina margar myndavélastrauma og senda þá í eina SoC. Hægt er að nota tvær gerðir af CSI-2 samantektarlausnum, sem lýst er í eftirfarandi köflum.

CSI-2 safnari sem notar SerDes
Ein leið til að sameina marga myndavélastrauma er að nota raðgreiningar- og afraðgreiningarlausn (SerDes). CSI-2 gögnin frá hverri myndavél eru umbreytt með raðgreiningarbúnaði og flutt í gegnum snúru. Afraðgreiningarbúnaðurinn tekur við öllum raðgreindum gögnum sem flutt eru úr snúrunum (einum snúru á myndavél), breytir straumunum aftur í CSI-2 gögn og sendir síðan samofna CSI-2 straumi í eina CSI-2 RX viðmótið á SoC kerfinu. Hver myndavélastraumur er auðkenndur með einstakri sýndarrás. Þessi samanlagningarlausn býður upp á þann aukakost að leyfa langlínutengingu allt að 15 metra frá myndavélunum að SoC kerfinu.

FPD-Link eða V3-Link raðgreiningar- og afraðgreiningarforritin (SerDes), sem AM6x Linux SDK styður, eru vinsælustu tæknin fyrir þessa tegund af CSI-2 samanlagningarlausn. Bæði FPD-Link og V3-Link afraðgreiningarforritin eru með bakrásir sem hægt er að nota til að senda rammasamstillingarmerki til að samstilla allar myndavélarnar, eins og útskýrt er í [7].
Mynd 2-2 sýnir tdampLeiðbeiningar um að nota SerDes til að tengja margar myndavélar við eina AM6x SoC.

FyrrverandiampHægt er að finna upplýsingar um þessa samanlagðarlausn í Arducam V3Link myndavélalausnarsettinu. Þetta sett inniheldur afraðvinnslumiðstöð sem sameinar 4 CSI-2 myndavélastrauma, sem og 4 pör af V3link raðvinnslukerfum og IMX219 myndavélum, þar á meðal FAKRA koax snúrur og 22 pinna FPC snúrur. Viðmiðunarhönnunin sem fjallað verður um síðar er byggð á þessu setti.

CSI-2 samanlagður án þess að nota SerDes
Þessi tegund af samanlagðara getur tengst beint við margar MIPI CSI-2 myndavélar og safnað gögnum frá öllum myndavélunum í einn CSI-2 úttaksstraum.

Mynd 2-3 sýnir tdampslíks kerfis. Þessi tegund af samantektarlausn notar engan raðgreiningar-/afraðgreiningarbúnað en er takmörkuð af hámarksfjarlægð CSI-2 gagnaflutnings, sem er allt að 30 cm. AM6x Linux SDK styður ekki þessa tegund af CSI-2 samantektarbúnaði.

Að virkja margar myndavélar í hugbúnaði

Hugbúnaðararkitektúr myndavélarkerfis
Mynd 3-1 sýnir yfirlitsmynd af hugbúnaði myndavélarupptökukerfisins í AM62A/AM62P Linux SDK, sem samsvarar vélbúnaðarkerfinu á mynd 2-2.

• Þessi hugbúnaðararkitektúr gerir SoC kleift að taka á móti mörgum myndavélastrauma með því að nota SerDes, eins og sýnt er á mynd 2-2. FPD-Link/V3-Link SerDes úthlutar einstöku I2C vistfangi og sýndarrás til hverrar myndavélar. Einstakt tækjatré ætti að vera búið til með einstöku I2C vistfangi fyrir hverja myndavél. CSI-2 RX drifið þekkir hverja myndavél með því að nota einstaka sýndarrásarnúmerið og býr til DMA samhengi fyrir hvern myndavélastraum. Myndbandshnúta er búin til fyrir hvert DMA samhengi. Gögn frá hverri myndavél eru síðan móttekin og geymd með DMA í minninu í samræmi við það. Notendarýmisforrit nota myndbandshnúta sem samsvara hverri myndavél til að fá aðgang að myndavélargögnunum. Til dæmisampLeiðbeiningar um notkun þessarar hugbúnaðararkitektúrs eru gefnar í 4. kafla – Tilvísunarhönnun.
• Sérhver skynjaradrifari sem er samhæfur V4L2 rammanum getur verið innbyggður í þessari arkitektúr. Sjá [8] varðandi hvernig á að samþætta nýjan skynjaradrifara í Linux SDK.

Hugbúnaðararkitektúr fyrir myndleiðslur

• AM6x Linux SDK býður upp á GStreamer (GST) rammann, sem hægt er að nota í ser geimnum til að samþætta myndvinnsluíhluti fyrir ýmis forrit. Aðgangur að vélbúnaðarhraðalunum (HWA) á SoC, svo sem Vision Pre-processing Accelerator (VPAC) eða ISP, myndkóðara/afkóðara og djúpnámsreiknivél, er í gegnum GST. pluginsVPAC (ISP) sjálft hefur marga blokkir, þar á meðal Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) og Multiscalar (MSC), sem hver samsvarar GST viðbót.
• Mynd 3-2 sýnir blokkrit af dæmigerðri myndleiðslu frá myndavélinni til kóðunar eða djúps
  námsforrit á AM62A. Nánari upplýsingar um gagnaflæði frá upphafi til enda er að finna í skjölun EdgeAI SDK.

Fyrir AM62P er myndleiðslan einfaldari þar sem enginn internetþjónustuaðili er á AM62P.

Með myndbandshnút búinn til fyrir hverja myndavél gerir GStreamer-byggða myndleiðslan kleift að vinna úr mörgum myndavélainntökum (tengdum í gegnum sama CSI-2 RX tengi) samtímis. Tilvísunarhönnun sem notar GStreamer fyrir fjölmyndavélaforrit er gefin í næsta kafla.

Tilvísunarhönnun

Þessi kafli kynnir viðmiðunarhönnun fyrir keyrslu margra myndavélaforrita á AM62A EVM, með því að nota Arducam V3Link myndavélalausnarsettið til að tengja 4 CSI-2 myndavélar við AM62A og keyra hlutgreiningu fyrir allar 4 myndavélarnar.

Stuðlar myndavélar
Arducam V3Link búnaðurinn virkar bæði með FPD-Link/V3-Link myndavélum og Raspberry Pi samhæfum CSI-2 myndavélum. Eftirfarandi myndavélar hafa verið prófaðar:

• D3 verkfræði D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• IMX219 myndavélar í Arducam V3Link myndavélalausnasettinu

Uppsetning fjögurra IMX219 myndavéla
Fylgdu leiðbeiningunum í hraðvirkum leiðbeiningum fyrir AM62A byrjendapakka EVM til að setja upp SK-AM62A-LP EVM (AM62A SK) og hraðvirka leiðbeiningar fyrir ArduCam V3Link myndavélalausnina til að tengja myndavélarnar við AM62A SK í gegnum V3Link pakkann. Gakktu úr skugga um að pinnarnir á sveigjanlegu snúrunum, myndavélunum, V3Link kortinu og AM62A SK séu allir rétt samstilltir.

Mynd 4-1 sýnir uppsetninguna sem notuð var fyrir viðmiðunarhönnunina í þessari skýrslu. Helstu þættir uppsetningarinnar eru:

• 1X SK-AM62A-LP EVM borð
• 1X Arducam V3Link d-ch millistykki
• FPC snúra sem tengir Arducam V3Link við SK-AM62A
• 4X V3Link myndavélar millistykki (raðtengi)
• 4X RF koax snúrur til að tengja V3Link raðtengibúnað við V3Link d-ch búnaðinn
• 4X IMX219 myndavélar
• 4X CSI-2 22-pinna snúrur til að tengja myndavélar við raðtengitæki
• Kaplar: HDMI snúra, USB-C snúra til að knýja SK-AM62A-LP og 12V straumgjafi fyrir V3Link d-ch búnaðinn)
• Aðrir íhlutir sem ekki eru sýndir á mynd 4-1: micro-SD kort, micro-USB snúra til að fá aðgang að SK-AM62A-LP og Ethernet fyrir streymi

Að stilla myndavélar og CSI-2 RX tengi
Settu upp hugbúnaðinn samkvæmt leiðbeiningunum í Arducam V3Link fljótlegu leiðbeiningunum. Eftir að uppsetningarforskrift myndavélarinnar hefur verið keyrð, setup-imx219.sh, verða snið myndavélarinnar, CSI-2 RX viðmótssniðið og leiðirnar frá hverri myndavél að samsvarandi myndbandshnúti stilltar rétt. Fjórir myndbandshnútar eru búnir til fyrir fjórar IMX219 myndavélar. Skipunin „v4l2-ctl –list-devices“ birtir öll V4L2 myndbandstækin, eins og sýnt er hér að neðan:

Undir tiscsi6rx eru 1 myndbandshnútar og 2 margmiðlunarhnútur. Hver myndbandshnútur samsvarar DMA-samhengi sem CSI2 RX-reklarinn úthlutar. Af 6 myndbandshnútunum eru 4 notaðir fyrir 4 IMX219 myndavélar, eins og sýnt er í margmiðlunarpípugerðinni hér að neðan:

Eins og sýnt er hér að ofan hefur fjölmiðlaeiningin 30102000.ticsi2rx 6 uppsprettupunkta, en aðeins fyrstu 4 eru notaðar, hver fyrir einn IMX219. Einnig er hægt að sýna fjölmiðlapípuuppbyggingu myndrænt. Keyrðu eftirfarandi skipun til að búa til punkt file:

Keyrðu síðan skipunina hér að neðan á Linux tölvu til að búa til PNG skrá file:

Mynd 4-2 er mynd búin til með skipununum sem gefnar eru hér að ofan. Íhlutirnir í hugbúnaðararkitektúrnum á mynd 3-1 má finna á þessari grafík.

Streymir úr fjórum myndavélum
Þegar bæði vélbúnaður og hugbúnaður eru rétt settir upp geta forrit fyrir margar myndavélar keyrt úr notendasvæðinu. Fyrir AM62A verður að stilla ISP-ið til að framleiða góða myndgæði. Vísað er til AM6xA ISP stillingarleiðbeiningarinnar til að fá upplýsingar um hvernig á að framkvæma ISP stillingu. Eftirfarandi kaflar kynna dæmi.ampminni af streymi myndavélargagna á skjá, streymi myndavélargagna á net og geymslu myndavélargagnanna á files.

Streymir myndavélargögnum á skjáinn
Einföld notkun þessa fjölmyndavélarkerfis er að streyma myndböndum frá öllum myndavélum á skjá sem er tengdur við sama SoC. Eftirfarandi er dæmi um GStreamer leiðslu.ampað streyma fjórum IMX219 á skjá (númer myndbandshnúta og v4l-subdev númer í ferlinu munu líklega breytast frá einum endurræsingu til annars).

Streymir myndavélargögnum í gegnum Ethernet
Í stað þess að streyma á skjá sem er tengdur við sama SoC er einnig hægt að streyma myndavélargögnum í gegnum Ethernet. Móttökuhliðin getur annað hvort verið annar AM62A/AM62P örgjörvi eða gestgjafatölva. Eftirfarandi er dæmi.ampað streyma myndavélargögnum í gegnum Ethernet (með því að nota tvær myndavélar til einföldunar) (athugið kóðunarviðbótina sem notuð er í ferlinu):

Eftirfarandi er fyrrverandiampað taka á móti gögnum úr myndavélinni og streyma þeim á skjá á öðrum AM62A/AM62P örgjörva:

Geymsla myndavélargagna í Files
Í stað þess að streyma á skjá eða í gegnum net er hægt að geyma myndavélargögnin á staðbundnum stað. files. Leiðslan hér að neðan geymir gögn hverrar myndavélar í a file (með því að nota tvær myndavélar sem t.d.amptil einföldunar).

Ályktun um djúpnám í mörgum myndavélum

AM62A er útbúinn djúpnámshraðli (C7x-MMA) með allt að tveimur TOPS-einingum, sem geta keyrt ýmsar gerðir af djúpnámslíkönum fyrir flokkun, hlutagreiningu, merkingarfræðilega skiptingu og fleira. Þessi hluti sýnir hvernig AM62A getur keyrt fjögur djúpnámslíkön samtímis á fjórum mismunandi myndavélastrauma.

Fyrirmyndarval
EdgeAI-ModelZoo frá TI býður upp á hundruð af nýjustu gerðum líkana sem eru breyttar/fluttar út úr upprunalegum þjálfunarramma sínum í innbyggðan snið sem gerir þeim kleift að flytja inn í C7x-MMA djúpnámshraðlann. Skýjabundna Edge AI Studio Model Analyzer býður upp á auðvelt í notkun „Model Selection“ tól. Það er uppfært stöðugt til að innihalda öll líkön sem TI EdgeAI-ModelZoo styður. Tólið krefst engra fyrri reynslu og býður upp á auðvelt í notkun viðmót til að slá inn þá eiginleika sem þarf í viðkomandi líkani.

TFL-OD-2000-ssd-mobV1-coco-mlperf var valið fyrir þessa tilraun með djúpnámi með mörgum myndavélum. Þetta líkan fyrir greiningu margra hluta er þróað í TensorFlow rammanum með 300×300 upplausn. Tafla 4-1 sýnir mikilvæga eiginleika þessa líkans þegar það er þjálfað á cCOCO gagnasafninu með um 80 mismunandi flokkum.

Tafla 4-1. Helstu eiginleikar gerðarinnar TFL-OD-2000-ssd-mobV1-coco-mlperf.

Fyrirmynd	Verkefni	Upplausn	FPS	mAP 50% Nákvæmni á COCO	Seinkun/rammi (ms)	DDR svart-hvítt Nýting (MB/rammi)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Greining margra hluta	300×300	~152	15.9	6.5	18.839

Uppsetning leiðslna
Mynd 4-3 sýnir djúpnámsferlið fyrir GStreamer með fjórum myndavélum. TI býður upp á pakka af GStreamer. plugins sem gerir kleift að flytja hluta af vinnslu margmiðlunar og djúpnámsályktun yfir á vélbúnaðarhraðala. Sumir til dæmisamples af þessum plugins innihalda tiovxisp, tiovxmultiscaler, tiovxmosaic og tidlinferer. Leiðarvísirinn á mynd 4-3 inniheldur allt sem þarf plugins fyrir fjölleiðar GStreamer leiðslu fyrir 4 myndavélar inntak, hvert með forvinnslu margmiðlunar, djúpnámsályktun og eftirvinnslu. Afritið plugins Fyrir hverja myndavélarleið eru staflaðar saman í grafinu til að auðvelda sýnikennslu.
Tiltæk vélbúnaðarauðlindir eru jafnt dreifðar á milli fjögurra myndavélarleiða. Til dæmis inniheldur AM62A tvær myndfjölkvarða: MSC0 og MSC1. Leiðslan tileinkar MSC0 sérstaklega til að vinna úr leiðum myndavélar 1 og myndavélar 2, en MSC1 er tileinkað myndavél 3 og myndavél 4.

Úttakið úr fjórum myndavélapíplum er minnkað og sett saman með tiovxmosaic viðbótinni. Úttakið er birt á einum skjá. Mynd 4-4 sýnir úttak fjögurra myndavélanna með djúpnámslíkani sem keyrir hlutagreiningu. Hver leiðsla (myndavél) keyrir á 30 FPS og samtals 120 FPS.

Næst er heildarforritið fyrir notkunartilvikið fyrir djúpt nám með mörgum myndavélum, sýnt á mynd 4-3.

Árangursgreining

Uppsetningin með fjórum myndavélum sem nota V3Link kortið og AM62A SK var prófuð í ýmsum aðstæðum, þar á meðal birtingu beint á skjá, streymi yfir Ethernet (fjórar UDP rásir), upptöku á fjórar aðskildar myndavélar. files, og með djúpnámsályktun. Í hverri tilraun fylgdumst við með rammahraða og nýtingu örgjörvakjarna til að kanna getu alls kerfisins.

Eins og áður hefur verið sýnt á mynd 4-4 notar djúpnámsleiðslan tiperfoverlay GStreamer viðbótina til að sýna álag á kjarna örgjörvans sem súlurit neðst á skjánum. Sjálfgefið er að grafið sé uppfært á tveggja sekúndna fresti til að sýna álagið sem nýtingarprósentu.tage. Auk tiperfoverlay GStreamer viðbótarinnar er perf_stats tólið annar valkostur til að sýna kjarnaafköst beint á skjánum með möguleika á að vista á fileÞetta tól er nákvæmara samanborið við tTiperfoverlay þar sem hið síðarnefnda bætir við auknu álagi á ARMm-kjarna og DDR til að teikna grafið og leggja það yfir skjáinn. perf_stats tólið er aðallega notað til að safna niðurstöðum um vélbúnaðarnýtingu í öllum prófunartilvikunum sem sýnd eru í þessu skjali. Sumir af mikilvægustu vinnslukjarnunum og hröðlunum sem rannsakaðir voru í þessum prófunum eru aðalvinnslukjarnarnir (fjórir A53 Arm-kjarnar @ 1.25 GHz), djúpnámshraðlinn (C7x-MMA @ 850 MHz), VPAC (ISP) með VISS og fjölkvarða (MSC0 og MSC1) og DDR-aðgerðir.

Tafla 5-1 sýnir afköst og nýtingu auðlinda þegar AM62A er notað með fjórum myndavélum í þremur notkunartilfellum, þar á meðal streymi fjórum myndavélum á skjá, streymi yfir Ethernet og upptöku á fjórar aðskildar myndavélar. files. Tvær prófanir eru framkvæmdar í hverju notkunartilviki: með myndavélinni eingöngu og með djúpnámsályktun. Að auki sýnir fyrsta röðin í töflu 5-1 nýtingu vélbúnaðar þegar aðeins stýrikerfið var í gangi á AM62A án nokkurra notendaforrita. Þetta er notað sem grunnlína til að bera saman við mat á nýtingu vélbúnaðar í hinum prófunartilvikunum. Eins og sést í töflunni störfuðu fjórar myndavélarnar með djúpnámi og skjá á 30 FPS hvor, með samtals 120 FPS fyrir allar fjórar myndavélarnar. Þessi hái rammahraði næst með aðeins 86% af fullum afköstum djúpnámshraðallsins (C7x-MMA). Að auki er mikilvægt að hafa í huga að djúpnámshraðallinn var klukkaður á 850 MHz í stað 1000 MHz í þessum tilraunum, sem er aðeins um 85% af hámarksafköstum hans.

Tafla 5-1. Afköst (FPS) og auðlindanotkun AM62A þegar það er notað með 4 IMX219 myndavélum fyrir skjábirting, Ethernet-straum, upptöku á Files, og framkvæma djúpnámsályktanir

Umsókn n	Leiðsla (rekstur )	Framleiðsla	FPS meðaltal leiðslu s	FPS alls	MPU-einingar A53s @ 1.25 GHz [%]	Örorkumælir R5 [%]	DLA (C7x-MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Vegur [MB/s]	DDR Skráningartími [MB/s]	DDR Samtals [MB/s]
Ekkert forrit	Grunnlína Engin aðgerð	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Myndavél aðeins	Straumur á skjáinn	Skjár	30	120	12	12	0	70	61	60	1015	757	1782
	Streymi yfir Ethernet	PDU: 4 tengi 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Upptaka til files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Myndavél með djúpnámi	Djúpnám: Hlutagreining MobV1- coco	Skjár	30	120	38	25	86	71	85	82	2926	1676	4602
	Djúpnám: Hlutagreining MobV1- coco og straumur yfir Ethernet	PDU: 4 tengi 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Djúpnám: Hlutagreining MobV1- kókos og skráning til files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Samantekt
Þessi forritaskýrsla lýsir því hvernig á að útfæra fjölmyndavélaforrit á AM6x tækjafjölskyldunni. Í skýrslunni er að finna viðmiðunarhönnun byggða á V3Link myndavélalausnasetti Arducam og AM62A SK EVM, þar sem nokkur myndavélaforrit nota fjórar IMX219 myndavélar, svo sem streymi og hlutgreiningu. Notendum er bent á að kaupa V3Link myndavélalausnasettið frá Arducam og endurtaka þessi dæmi.ampSkýrslan veitir einnig ítarlega greiningu á afköstum AM62A við notkun fjögurra myndavéla í ýmsum stillingum, þar á meðal birtingu á skjá, streymi yfir Ethernet og upptöku á ... fileÞað sýnir einnig getu AM62A til að framkvæma djúpnámsályktanir á fjórum aðskildum myndavélastrauma samsíða. Ef einhverjar spurningar eru um að keyra þessi dæmiamples, sendið fyrirspurn á TI E2E spjallborðinu.

Heimildir

1. Leiðbeiningar um fljótlegan upphafsbúnað fyrir AM62A EVM
2. Leiðbeiningar um fljótlega notkun á ArduCam V3Link myndavélalausn
3. Skjölun á Edge AI SDK fyrir AM62A
4. Edge AI snjallmyndavélar með orkusparandi AM62A örgjörva
5. Myndavélaspeglakerfi á AM62A
6. Ökumanns- og farþegaeftirlitskerfi á AM62A
7. Fjórrásar myndavélarforrit fyrir umlykjandi myndavél View og CMS myndavélakerfi
8. AM62Ax Linux Academy um virkjun CIS-2 skynjara
9. Edge AI ModelZoo
10. Edge AI Studio
11. Perf_stats tólið

TI hlutar sem vísað er til í þessari umsókn Athugasemd:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

MIKILVÆG TILKYNNING OG FYRIRVARI

TI LEGIR TÆKNI- OG Áreiðanleikagögn (ÞAR á meðal gagnablöð), Hönnunarauðlindir (ÞÁ MEÐ VIÐMIÐUNARHÖNNUN), UMSÓKNAR EÐA ANNAR HÖNNUNARRÁÐGJÖF, WEB VERKFÆRI, ÖRYGGISUPPLÝSINGAR OG AÐRAR auðlindir „Eins og þær eru“ OG MEÐ ÖLLUM GÖLLUM OG FYRIR ÖLLUM ÁBYRGÐUM, SKÝRI OG ÓBEININGU, Þ.M.T. HUGVERKARÉTTUR UÐRA aðila .

Þessar auðlindir eru ætlaðar hæfum hönnuðum sem hanna með TI vörum. Þú berð ein ábyrgð á

1. að velja viðeigandi TI vörur fyrir umsókn þína,
2. hanna, staðfesta og prófa umsókn þína, og
3. tryggja að forritið þitt uppfylli gildandi staðla og allar aðrar öryggis-, verndunar-, reglugerðar- eða aðrar kröfur.

Þessum úrræðum er hægt að breyta án fyrirvara. TI leyfir þér aðeins að nota þessi úrræði til að þróa forrit sem notar TI vörurnar sem lýst er í úrræðinu. Önnur afritun og birting þessara úrræða er bönnuð. Engin leyfi eru veitt fyrir neinum öðrum hugverkaréttindum TI eða hugverkaréttindum þriðja aðila. TI afsalar sér ábyrgð á, og þú munt að fullu bæta TI og fulltrúa þess fyrir, öllum kröfum, tjóni, kostnaði, tapi og skuldbindingum sem kunna að leiða af notkun þinni á þessum úrræðum.

Vörur TI eru veittar með fyrirvara um söluskilmála TI eða öðrum viðeigandi skilmálum sem fáanlegir eru annað hvort á ti.com eða veitt í tengslum við slíkar TI vörur. Útvegun TI á þessum auðlindum víkkar ekki út eða breytir ekki á annan hátt gildandi ábyrgðir TI eða ábyrgðarfyrirvara fyrir TI vörur.

TI mótmælir og hafnar öllum viðbótar- eða öðrum skilmálum sem þú gætir hafa lagt til.

MIKILVÆG TILKYNNING

• Póstfang: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
• Höfundarréttur © 2024, Texas Instruments Incorporated

Algengar spurningar

Sp.: Get ég notað hvaða myndavél sem er með AM6x fjölskyldunni?

AM6x fjölskyldan styður mismunandi gerðir myndavéla, þar á meðal þær sem eru með eða án innbyggðs netþjóns. Vísað er til forskriftanna fyrir frekari upplýsingar um studdar gerðir myndavéla.

Hverjir eru helstu munirnir á AM62A og AM62P í myndvinnslu?

Helstu breytileikar eru meðal annars studdar gerðir myndavéla, úttaksgögn myndavéla, tilvist ISP HWA, Deep Learning HWA og 3-D Graphics HWA. Vísað er til forskriftahlutans fyrir ítarlegan samanburð.

 

Skjöl / auðlindir

Texas Instruments AM6x þróar margar myndavélar [pdfNotendahandbók AM62A, AM62P, AM6x Þróunaraðili margra myndavéla, AM6x, Þróunaraðili margra myndavéla, Margar myndavélar, Myndavél

Heimildir

• Notendahandbók