Texas Instruments AM6x yn Datblygu Camerâu Lluosog

Manylebau

• Enw Cynnyrch: Teulu dyfeisiau AM6x
• Math o Gamera â Chymorth: AM62A (Gyda neu heb ISP adeiledig), AM62P (Gyda ISP adeiledig)
• Data Allbwn Camera: AM62A (Amrwd/YUV/RGB), AM62P (YUV/RGB)
• Harddwch y Darparwr Gwasanaeth Rhyngrwyd: AM62A (Ie), AM62P (Na)
• HWA Dysgu Dwfn: AM62A (Ydw), AM62P (Nac ydw)
• Graffeg 3-D HWA: AM62A (Na), AM62P (Ydw)

Cyflwyniad i Gymwysiadau Camera Lluosog ar AM6x:

• Mae camerâu mewnosodedig yn chwarae rhan hanfodol mewn systemau gweledigaeth modern.
• Mae defnyddio nifer o gamerâu mewn system yn gwella galluoedd ac yn galluogi tasgau na ellir eu cyflawni gydag un gamera.

Cymwysiadau sy'n Defnyddio Camerâu Lluosog:

• Gwyliadwriaeth Diogelwch: Yn gwella sylw gwyliadwriaeth, olrhain gwrthrychau, a chywirdeb adnabod.
• Amgylchynu View: Yn galluogi gweledigaeth stereo ar gyfer tasgau fel canfod rhwystrau a thrin gwrthrychau.
• System Drych Camera a Recordydd Caban: Yn darparu gorchudd estynedig ac yn dileu mannau dall.
• Delweddu Meddygol: Yn cynnig cywirdeb gwell mewn llywio llawfeddygol ac endosgopi.
• Dronau a Delweddu o'r Awyr: Cipio delweddau cydraniad uchel o wahanol onglau ar gyfer amrywiol gymwysiadau.

Cysylltu Camerâu CSI-2 Lluosog â'r SoC:
I gysylltu nifer o gamerâu CSI-2 â'r SoC, dilynwch y canllawiau a ddarperir yn y llawlyfr defnyddiwr. Sicrhewch fod pob camera wedi'i alinio a'i gysylltu'n iawn â'r porthladdoedd dynodedig ar y SoC.

Nodyn Cais
Datblygu Cymwysiadau Camera Lluosog ar AM6x

Jianzhong Xu, Qutaiba Saleh

ABSENOLDEB
Mae'r adroddiad hwn yn disgrifio datblygu cymwysiadau gan ddefnyddio nifer o gamerâu CSI-2 ar deulu dyfeisiau AM6x. Cyflwynir dyluniad cyfeirio o ganfod gwrthrychau gyda dysgu dwfn ar 4 camera ar y SoC AM62A ynghyd â dadansoddiad perfformiad. Mae egwyddorion cyffredinol y dyluniad yn berthnasol i SoCs eraill gyda rhyngwyneb CSI-2, fel AM62x ac AM62P.

Rhagymadrodd

Mae camerâu mewnosodedig yn chwarae rhan bwysig mewn systemau gweledigaeth modern. Mae defnyddio camerâu lluosog mewn system yn ehangu galluoedd y systemau hyn ac yn galluogi galluoedd nad ydynt yn bosibl gydag un camera. Isod mae rhai enghreifftiauampllai o gymwysiadau sy'n defnyddio camerâu mewnosodedig lluosog:

• Gwyliadwriaeth Diogelwch: Mae nifer o gamerâu wedi'u lleoli'n strategol yn darparu sylw gwyliadwriaeth cynhwysfawr. Maent yn galluogi panoramig. views, lleihau mannau dall, a gwella cywirdeb olrhain ac adnabod gwrthrychau, gan wella mesurau diogelwch cyffredinol.
• Amgylchynu ViewDefnyddir nifer o gamerâu i greu gosodiad gweledigaeth stereo, gan alluogi gwybodaeth tri dimensiwn ac amcangyfrif dyfnder. Mae hyn yn hanfodol ar gyfer tasgau fel canfod rhwystrau mewn cerbydau ymreolus, trin gwrthrychau'n fanwl gywir mewn roboteg, a realaeth well profiadau realiti estynedig.
• Recordydd Caban a System Drych Camera: Gall recordydd caban car gyda chamerâu lluosog ddarparu mwy o sylw gan ddefnyddio un prosesydd. Yn yr un modd, gall system drych camera gyda dwy neu fwy o gamerâu ehangu maes y gyrrwr view a dileu mannau dall o bob ochr i gar.
• Delweddu Meddygol: Gellir defnyddio nifer o gamerâu mewn delweddu meddygol ar gyfer tasgau fel llywio llawfeddygol, gan roi persbectifau lluosog i lawfeddygon ar gyfer mwy o gywirdeb. Mewn endosgopi, mae nifer o gamerâu yn galluogi archwiliad trylwyr o organau mewnol.
• Dronau a Delweddu o'r Awyr: Yn aml, mae dronau'n dod â chamerâu lluosog i dynnu delweddau neu fideos cydraniad uchel o wahanol onglau. Mae hyn yn ddefnyddiol mewn cymwysiadau fel ffotograffiaeth o'r awyr, monitro amaethyddol ac arolygu tir.
• Gyda datblygiad microbroseswyr, gellir integreiddio nifer o gamerâu i mewn i un System-ar-Sglodyn.
  (SoC) i ddarparu atebion cryno ac effeithlon. Mae'r SoC AM62Ax, gyda phrosesu fideo/gwelediad perfformiad uchel a chyflymiad dysgu dwfn, yn ddyfais ddelfrydol ar gyfer yr achosion defnydd a grybwyllir uchod. Mae dyfais AM6x arall, yr AM62P, wedi'i hadeiladu ar gyfer cymwysiadau arddangos 3D mewnosodedig perfformiad uchel. Wedi'i gyfarparu â chyflymiad graffeg 3D, gall yr AM62P wnïo'r delweddau o gamerâu lluosog at ei gilydd yn hawdd a chynhyrchu panoramig cydraniad uchel. viewMae nodweddion arloesol y SoC AM62A/AM62P wedi'u cyflwyno mewn amryw o gyhoeddiadau, megis [4], [5], [6], ac ati. Ni fydd y nodyn cais hwn yn ailadrodd y disgrifiadau nodweddion hynny ond yn hytrach yn canolbwyntio ar integreiddio nifer o gamerâu CSI-2 i gymwysiadau gweledigaeth mewnosodedig ar AM62A/AM62P.
• Mae Tabl 1-1 yn dangos y prif wahaniaethau rhwng AM62A ac AM62P o ran prosesu delweddau.

Tabl 1-1. Gwahaniaethau Rhwng AM62A ac AM62P mewn Prosesu Delweddau

Cysylltu Camerâu CSI-2 Lluosog â'r SoC
Mae Is-system y Camera ar y SoC AM6x yn cynnwys y cydrannau canlynol, fel y dangosir yn Ffigur 2-1:

• Derbynnydd MIPI D-PHY: yn derbyn ffrydiau fideo o gamerâu allanol, gan gefnogi hyd at 1.5 Gbps fesul lôn ddata ar gyfer 4 lôn.
• Derbynnydd CSI-2 (RX): yn derbyn ffrydiau fideo o'r derbynnydd D-PHY ac naill ai'n anfon y ffrydiau'n uniongyrchol at yr ISP neu'n dympio'r data i gof DDR. Mae'r modiwl hwn yn cefnogi hyd at 16 sianel rithwir.
• SHIM: lapio DMA sy'n galluogi anfon y ffrydiau a ddaliwyd i'r cof dros DMA. Gellir creu cyd-destunau DMA lluosog gan y lapio hwn, gyda phob cyd-destun yn cyfateb i sianel rithwir y Derbynnydd CSI-2.

Gellir cefnogi nifer o gamerâu ar yr AM6x trwy ddefnyddio sianeli rhithwir CSI-2 RX, er mai dim ond un rhyngwyneb CSI-2 RX sydd ar y SoC. Mae angen cydran agregu CSI-2 allanol i gyfuno nifer o ffrydiau camera a'u hanfon i un SoC. Gellir defnyddio dau fath o atebion agregu CSI-2, a ddisgrifir yn yr adrannau canlynol.

Agregydd CSI-2 Gan Ddefnyddio SerDes
Un ffordd o gyfuno nifer o ffrydiau camera yw defnyddio datrysiad cyfresoli a dadgyfresoli (SerDes). Mae'r data CSI-2 o bob camera yn cael ei drawsnewid gan gyfresydd a'i drosglwyddo trwy gebl. Mae'r dadgyfresydd yn derbyn yr holl ddata cyfresol a drosglwyddir o'r ceblau (un cebl fesul camera), yn trosi'r ffrydiau yn ôl i ddata CSI-2, ac yna'n anfon ffrwd CSI-2 rhyngblethedig i'r rhyngwyneb CSI-2 RX sengl ar y SoC. Mae pob ffrwd camera yn cael ei hadnabod gan sianel rithwir unigryw. Mae'r datrysiad agregu hwn yn cynnig y fantais ychwanegol o ganiatáu cysylltiad pellter hir hyd at 15m o'r camerâu i'r SoC.

Y cyfresyddion a'r dadgyfresyddion FPD-Link neu V3-Link (SerDes), a gefnogir yn yr AM6x Linux SDK, yw'r technolegau mwyaf poblogaidd ar gyfer y math hwn o ddatrysiad agregu CSI-2. Mae gan y dadgyfresyddion FPD-Link a V3-Link sianeli cefn y gellir eu defnyddio i anfon signalau cydamseru fframiau i gydamseru'r holl gamerâu, fel yr eglurir yn [7].
Mae Ffigur 2-2 yn dangos exampdefnyddio'r SerDes i gysylltu camerâu lluosog ag un SoC AM6x.

Mae cynampGellir dod o hyd i ran o'r ateb crynhoi hwn ym Mhecyn Datrysiadau Camera Arducam V3Link. Mae gan y pecyn hwn ganolfan dadgyfresoli sy'n crynhoi 4 ffryd camera CSI-2, yn ogystal â 4 pâr o gyfresi V3link a chamerâu IMX219, gan gynnwys ceblau cyd-echelinol FAKRA a cheblau FPC 22-pin. Mae'r dyluniad cyfeirio a drafodir yn ddiweddarach wedi'i adeiladu ar y pecyn hwn.

Agregydd CSI-2 heb Ddefnyddio SerDes
Gall y math hwn o agregydd ryngwynebu'n uniongyrchol â nifer o gamerâu MIPI CSI-2 a chydgrynhoi'r data o bob camera i un ffrwd allbwn CSI-2.

Mae Ffigur 2-3 yn dangos exampsystem o'r fath. Nid yw'r math hwn o ddatrysiad agregu yn defnyddio unrhyw gyfresydd/dadgyfresydd ond mae wedi'i gyfyngu gan y pellter mwyaf ar gyfer trosglwyddo data CSI-2, sef hyd at 30cm. Nid yw'r SDK Linux AM6x yn cefnogi'r math hwn o agregydd CSI-2.

Galluogi Camerâu Lluosog mewn Meddalwedd

Pensaernïaeth Meddalwedd Is-system Camera
Mae Ffigur 3-1 yn dangos diagram bloc lefel uchel o feddalwedd y system dal camera yn AM62A/AM62P Linux SDK, sy'n cyfateb i'r system galedwedd yn Ffigur 2-2.

• Mae'r bensaernïaeth feddalwedd hon yn galluogi'r SoC i dderbyn ffrydiau camera lluosog gan ddefnyddio SerDes, fel y dangosir yn Ffigur 2-2. Mae'r SerDes FPD-Link/V3-Link yn neilltuo cyfeiriad I2C unigryw a sianel rithwir i bob camera. Dylid creu gorchudd coeden ddyfais unigryw gyda'r cyfeiriad I2C unigryw ar gyfer pob camera. Mae'r gyrrwr CSI-2 RX yn adnabod pob camera gan ddefnyddio'r rhif sianel rithwir unigryw ac yn creu cyd-destun DMA fesul ffryd camera. Crëir nod fideo ar gyfer pob cyd-destun DMA. Yna derbynnir data o bob camera a'i storio gan ddefnyddio DMA i'r cof yn unol â hynny. Mae cymwysiadau gofod defnyddwyr yn defnyddio'r nodau fideo sy'n cyfateb i bob camera i gael mynediad at ddata'r camera. EnghraifftampRhoddir manylion defnyddio'r bensaernïaeth feddalwedd hon ym Mhennod 4 – Dylunio Cyfeirio.
• Gall unrhyw yrrwr synhwyrydd penodol sy'n cydymffurfio â'r fframwaith V4L2 blygio a chwarae yn y bensaernïaeth hon. Cyfeiriwch at [8] ynghylch sut i integreiddio gyrrwr synhwyrydd newydd i'r Linux SDK.

Pensaernïaeth Meddalwedd Piblinell Delwedd

• Mae SDK Linux AM6x yn darparu'r fframwaith GStreamer (GST), y gellir ei ddefnyddio yn y gofod ser i integreiddio'r cydrannau prosesu delweddau ar gyfer amrywiol gymwysiadau. Mae mynediad i'r Cyflymyddion Caledwedd (HWA) ar y SoC, fel y Cyflymydd Cyn-brosesu Gweledigaeth (VPAC) neu ISP, amgodiwr/dadgodiwr fideo, ac injan gyfrifiadura dysgu dwfn, trwy GST. pluginsMae gan y VPAC (ISP) ei hun flociau lluosog, gan gynnwys Is-System Delweddu Gweledigaeth (VISS), Cywiriad Ystumio Lens (LDC), ac Aml-sgalar (MSC), pob un yn cyfateb i ategyn GST.
• Mae Ffigur 3-2 yn dangos y diagram bloc o biblinell delwedd nodweddiadol o'r camera i amgodio neu ddwfn
  cymwysiadau dysgu ar AM62A. Am fwy o fanylion am y llif data o'r dechrau i'r diwedd, cyfeiriwch at ddogfennaeth SDK EdgeAI.

Ar gyfer AM62P, mae'r biblinell delwedd yn symlach oherwydd nad oes ISP ar AM62P.

Gyda nod fideo wedi'i greu ar gyfer pob un o'r camerâu, mae'r biblinell delwedd sy'n seiliedig ar GStreamer yn caniatáu prosesu mewnbynnau camera lluosog (wedi'u cysylltu trwy'r un rhyngwyneb CSI-2 RX) ar yr un pryd. Rhoddir dyluniad cyfeirio gan ddefnyddio GStreamer ar gyfer cymwysiadau aml-gamera yn y bennod nesaf.

Dylunio Cyfeirnod

Mae'r bennod hon yn cyflwyno dyluniad cyfeirio ar gyfer rhedeg cymwysiadau aml-gamera ar AM62A EVM, gan ddefnyddio Pecyn Datrysiadau Camera Arducam V3Link i gysylltu 4 camera CSI-2 ag AM62A a rhedeg canfod gwrthrychau ar gyfer pob un o'r 4 camera.

Camerâu â Chymorth
Mae pecyn Arducam V3Link yn gweithio gyda chamerâu sy'n seiliedig ar FPD-Link/V3-Link a chamerâu CSI-2 sy'n gydnaws â Raspberry Pi. Mae'r camerâu canlynol wedi cael eu profi:

• D3 Peirianneg D3RCM-IMX390-953
• Delweddu Leopard LI-OV2312-FPDLINKIII-110H
• Camerâu IMX219 yn y Pecyn Datrysiadau Camera Arducam V3Link

Gosod Pedwar Camera IMX219
Dilynwch y cyfarwyddiadau a ddarperir yng Nghanllaw Cychwyn Cyflym Pecyn Cychwyn AM62A EVM i sefydlu'r SK-AM62A-LP EVM (AM62A SK) a Chanllaw Cychwyn Cyflym Datrysiad Camera ArduCam V3Link i gysylltu'r camerâu ag AM62A SK trwy'r pecyn V3Link. Gwnewch yn siŵr bod y pinnau ar y ceblau hyblyg, y camerâu, y bwrdd V3Link, a'r AM62A SK i gyd wedi'u halinio'n iawn.

Mae Ffigur 4-1 yn dangos y drefniant a ddefnyddiwyd ar gyfer y dyluniad cyfeirio yn yr adroddiad hwn. Mae prif gydrannau'r drefniant yn cynnwys:

• 1X bwrdd EVM SK-AM62A-LP
• 1X bwrdd addasydd d-ch Arducam V3Link
• Cebl FPC yn cysylltu Arducam V3Link â SK-AM62A
• 4X addasydd camera V3Link (cyfresyddion)
• 4X ceblau cyd-echelinol RF i gysylltu cyfresyddion V3Link â phecyn d-ch V3Link
• Camerâu 4X IMX219
• 4X ceblau CSI-2 22-pin i gysylltu camerâu â chyfresolyddion
• Ceblau: cebl HDMI, USB-C i bweru'r SK-AM62A-LP a ffynhonnell pŵer 12V ar gyfer y pecyn d-ch V3Link)
• Cydrannau eraill nad ydynt yn cael eu dangos yn Ffigur 4-1: cerdyn micro-SD, cebl micro-USB i gael mynediad at SK-AM62A-LP, ac Ethernet ar gyfer ffrydio

Ffurfweddu Camerâu a Rhyngwyneb RX CSI-2
Gosodwch y feddalwedd yn ôl y cyfarwyddiadau a ddarperir yng Nghanllaw Cychwyn Cyflym Arducam V3Link. Ar ôl rhedeg y sgript gosod camera, bydd setup-imx219.sh, fformat y camera, fformat rhyngwyneb CSI-2 RX, a'r llwybrau o bob camera i'r nod fideo cyfatebol yn cael eu ffurfweddu'n iawn. Crëir pedwar nod fideo ar gyfer y pedair camera IMX219. Mae'r gorchymyn “v4l2-ctl –list-devices” yn arddangos yr holl ddyfeisiau fideo V4L2, fel y dangosir isod:

Mae 6 nod fideo ac 1 nod cyfryngau o dan tiscsi2rx. Mae pob nod fideo yn cyfateb i gyd-destun DMA a ddyrannwyd gan y gyrrwr CSI2 RX. O'r 6 nod fideo, defnyddir 4 ar gyfer y 4 camera IMX219, fel y dangosir yn nhopoleg y bibell gyfryngau isod:

Fel y dangosir uchod, mae gan endid cyfryngau 30102000.ticsi2rx 6 pad ffynhonnell, ond dim ond y 4 cyntaf sy'n cael eu defnyddio, pob un ar gyfer un IMX219. Gellir darlunio topoleg y bibell gyfryngau yn graffigol hefyd. Rhedwch y gorchymyn canlynol i gynhyrchu dot file:

Yna rhedeg y gorchymyn isod ar gyfrifiadur gwesteiwr Linux i gynhyrchu PNG file:

Mae Ffigur 4-2 yn llun a gynhyrchwyd gan ddefnyddio'r gorchmynion a roddir uchod. Gellir dod o hyd i'r cydrannau ym mhensaernïaeth feddalwedd Ffigur 3-1 yn y graff hwn.

Ffrydio o Bedwar Camera
Gyda chaledwedd a meddalwedd wedi'u sefydlu'n iawn, gall cymwysiadau aml-gamera redeg o ofod y defnyddiwr. Ar gyfer AM62A, rhaid tiwnio'r ISP i gynhyrchu ansawdd delwedd da. Cyfeiriwch at Ganllaw Tiwnio ISP AM6xA am sut i berfformio tiwnio ISP. Mae'r adrannau canlynol yn cyflwyno e.e.ampllai o ffrydio data camera i arddangosfa, ffrydio data camera i rwydwaith, a storio data'r camera i files.

Ffrydio Data Camera i'r Arddangosfa
Un o gymhwysiadau sylfaenol y system aml-gamera hon yw ffrydio'r fideos o bob camera i arddangosfa sydd wedi'i chysylltu â'r un SoC. Dyma enghraifft o biblinell GStreamer.ampenghraifft o ffrydio pedwar IMX219 i arddangosfa (mae'n debyg y bydd rhifau'r nodau fideo a'r rhifau v4l-subdev yn y biblinell yn newid o ailgychwyn i ailgychwyn).

Ffrydio Data Camera trwy Ethernet
Yn lle ffrydio i arddangosfa sydd wedi'i chysylltu â'r un SoC, gellir ffrydio data'r camera drwy'r Ethernet hefyd. Gall yr ochr dderbyn fod naill ai'n brosesydd AM62A/AM62P arall neu'n gyfrifiadur personol gwesteiwr. Dyma enghraifftampenghraifft o ffrydio data'r camera drwy'r Ethernet (gan ddefnyddio dau gamera er mwyn symlrwydd) (nodwch yr ategyn amgodiwr a ddefnyddir yn y biblinell):

Mae'r canlynol yn gynampsut i dderbyn data'r camera a'i ffrydio i arddangosfa ar brosesydd AM62A/AM62P arall:

Storio Data Camera i Files
Yn lle ffrydio i arddangosfa neu drwy rwydwaith, gellir storio data'r camera yn lleol files. Mae'r biblinell isod yn storio data pob camera i a file (gan ddefnyddio dau gamera fel cynamper mwyn symlrwydd).

Casgliad Dysgu Dwfn Aml-gamera

Mae gan AM62A gyflymydd dysgu dwfn (C7x-MMA) gyda hyd at ddau TOPS, sy'n gallu rhedeg gwahanol fathau o fodelau dysgu dwfn ar gyfer dosbarthu, canfod gwrthrychau, segmentu semantig, a mwy. Mae'r adran hon yn dangos sut y gall AM62A redeg pedwar model dysgu dwfn ar bedwar porthiant camera gwahanol ar yr un pryd.

Dewis Model
Mae EdgeAI-ModelZoo y TI yn darparu cannoedd o fodelau o'r radd flaenaf, sy'n cael eu trosi/allforio o'u fframweithiau hyfforddi gwreiddiol i fformat sy'n hawdd ei fewnosod fel y gellir eu dadlwytho i'r cyflymydd dysgu dwfn C7x-MMA. Mae Dadansoddwr Model Stiwdio Edge AI, sy'n seiliedig ar y cwmwl, yn darparu offeryn "Dewis Model" hawdd ei ddefnyddio. Caiff ei ddiweddaru'n ddeinamig i gynnwys yr holl fodelau a gefnogir yn TI EdgeAI-ModelZoo. Nid oes angen unrhyw brofiad blaenorol ar yr offeryn ac mae'n darparu rhyngwyneb hawdd ei ddefnyddio i nodi'r nodweddion sydd eu hangen yn y model a ddymunir.

Dewiswyd y TFL-OD-2000-ssd-mobV1-coco-mlperf ar gyfer yr arbrawf dysgu dwfn aml-gamera hwn. Datblygwyd y model canfod aml-wrthrychau hwn yn fframwaith TensorFlow gyda datrysiad mewnbwn o 300 × 300. Mae Tabl 4-1 yn dangos nodweddion pwysig y model hwn pan gaiff ei hyfforddi ar y set ddata cCOCO gyda thua 80 o ddosbarthiadau gwahanol.

Tabl 4-1. Nodweddion Amlygu'r Model TFL-OD-2000-ssd-mobV1-coco-mlperf.

Gosod Piblinell
Mae Ffigur 4-3 yn dangos y biblinell dysgu dwfn 4-camera GStreamer. Mae TI yn darparu cyfres o GStreamer plugins sy'n caniatáu dadlwytho rhywfaint o'r prosesu cyfryngau a'r casgliad dysgu dwfn i'r cyflymyddion caledwedd. Mae rhai e.e.amples o'r rhain plugins cynnwys tiovxisp, tiovxmultiscaler, tiovxmosaic, a tidlinferer. Mae'r biblinell yn Ffigur 4-3 yn cynnwys yr holl bethau gofynnol plugins ar gyfer piblinell GStreamer aml-lwybr ar gyfer mewnbynnau 4-camera, pob un â rhagbrosesu cyfryngau, casgliad dysgu dwfn, ac ôl-brosesu. Y dyblygu plugins ar gyfer pob un o lwybrau'r camera maen nhw wedi'u pentyrru yn y graff er mwyn ei arddangos yn haws.
Mae'r adnoddau caledwedd sydd ar gael wedi'u dosbarthu'n gyfartal ymhlith y pedwar llwybr camera. Er enghraifft, mae AM62A yn cynnwys dau amlraddfa delwedd: MSC0 ac MSC1. Mae'r biblinell yn neilltuo MSC0 yn benodol i brosesu llwybrau camera 1 a chamera 2, tra bod MSC1 wedi'i neilltuo i gamera 3 a chamera 4.

Mae allbwn y pedair piblinell camera yn cael ei leihau a'i gysylltu â'i gilydd gan ddefnyddio'r ategyn tiovxmosaic. Mae'r allbwn yn cael ei arddangos ar un sgrin. Mae Ffigur 4-4 yn dangos allbwn y pedair camera gyda model dysgu dwfn yn rhedeg canfod gwrthrychau. Mae pob piblinell (camera) yn rhedeg ar 30 FPS a chyfanswm o 120 FPS.

Nesaf mae'r sgript biblinell lawn ar gyfer yr achos defnydd dysgu dwfn aml-gamera a ddangosir yn Ffigur 4-3.

Dadansoddi Perfformiad

Profwyd y gosodiad gyda phedair camera gan ddefnyddio'r bwrdd V3Link a'r AM62A SK mewn amrywiol senarios cymhwysiad, gan gynnwys arddangos yn uniongyrchol ar sgrin, ffrydio dros Ethernet (pedair sianel UDP), recordio i 4 camera ar wahân files, a chyda chasgliad dysgu dwfn. Ym mhob arbrawf, fe wnaethom fonitro'r gyfradd ffrâm a'r defnydd o greiddiau CPU i archwilio galluoedd y system gyfan.

Fel y dangoswyd yn flaenorol yn Ffigur 4-4, mae'r biblinell ddysgu dwfn yn defnyddio'r ategyn tiperfoverlay GStreamer i ddangos llwythi craidd CPU fel graff bar ar waelod y sgrin. Yn ddiofyn, mae'r graff yn cael ei ddiweddaru bob dwy eiliad i ddangos y llwythi fel canran defnydd.tage. Yn ogystal â'r ategyn tiperfoverlay GStreamer, mae'r offeryn perf_stats yn ail opsiwn i ddangos perfformiad craidd yn uniongyrchol ar y derfynell gydag opsiwn ar gyfer arbed i fileMae'r offeryn hwn yn fwy cywir o'i gymharu â'r tTiperfoverlay gan fod yr olaf yn ychwanegu llwyth ychwanegol ar greiddiau'r ARMm a'r DDR i lunio'r graff a'i orchuddio ar y sgrin. Defnyddir yr offeryn perf_stats yn bennaf i gasglu canlyniadau defnydd caledwedd ym mhob un o'r achosion prawf a ddangosir yn y ddogfen hon. Mae rhai o'r creiddiau prosesu a'r cyflymyddion pwysig a astudiwyd yn y profion hyn yn cynnwys y prif broseswyr (pedwar craidd A53 Arm @ 1.25GHz), y cyflymydd dysgu dwfn (C7x-MMA @ 850MHz), y VPAC (ISP) gyda VISS ac aml-raddfeydd (MSC0 ac MSC1), a gweithrediadau DDR.

Mae Tabl 5-1 yn dangos y perfformiad a'r defnydd o adnoddau wrth ddefnyddio AM62A gyda phedair camera ar gyfer tri achos defnydd, gan gynnwys ffrydio pedair camera i arddangosfa, ffrydio dros Ethernet, a recordio i bedwar camera ar wahân. files. Gweithredir dau brawf ym mhob achos defnydd: gyda'r camera yn unig a chyda chasgliad dysgu dwfn. Yn ogystal, mae'r rhes gyntaf yn Nhabl 5-1 yn dangos defnyddiau caledwedd pan oedd y system weithredu yn unig yn rhedeg ar AM62A heb unrhyw gymwysiadau defnyddiwr. Defnyddir hyn fel llinell sylfaen i gymharu yn ei erbyn wrth werthuso defnyddiau caledwedd yr achosion prawf eraill. Fel y dangosir yn y tabl, roedd y pedair camera gyda dysgu dwfn ac arddangosfa sgrin yn gweithredu ar 30 FPS yr un, gyda chyfanswm o 120 FPS ar gyfer y pedair camera. Cyflawnir y gyfradd ffrâm uchel hon gyda dim ond 86% o gapasiti llawn y cyflymydd dysgu dwfn (C7x-MMA). Yn ogystal, mae'n bwysig nodi bod y cyflymydd dysgu dwfn wedi'i glocio ar 850MHz yn lle 1000MHz yn yr arbrofion hyn, sef tua 85% o'i berfformiad uchaf yn unig.

Tabl 5-1. Perfformiad (FPS) a Defnydd Adnoddau AM62A pan gaiff ei ddefnyddio gyda 4 Camera IMX219 ar gyfer Arddangos Sgrin, Ffrwd Ethernet, Recordio i Files, a Pherfformio Casgliadau Dysgu Dwfn

Crynodeb
Mae'r adroddiad cymhwysiad hwn yn disgrifio sut i weithredu cymwysiadau aml-gamera ar deulu dyfeisiau AM6x. Darperir dyluniad cyfeirio yn seiliedig ar Becyn Datrysiadau Camera V3Link Arducam ac AM62A SK EVM yn yr adroddiad, gyda sawl cymhwysiad camera yn defnyddio pedair camera IMX219, megis ffrydio a chanfod gwrthrychau. Anogir defnyddwyr i gaffael y Pecyn Datrysiadau Camera V3Link gan Arducam ac atgynhyrchu'r rhain.ampMae'r adroddiad hefyd yn darparu dadansoddiad manwl o berfformiad AM62A wrth ddefnyddio pedair camera o dan wahanol gyfluniadau, gan gynnwys arddangos i sgrin, ffrydio dros Ethernet, a recordio i files. Mae hefyd yn dangos gallu AM62A i berfformio casgliad dysgu dwfn ar bedwar ffrydiau camera ar wahân ochr yn ochr. Os oes unrhyw gwestiynau am redeg y rhainamples, cyflwynwch ymholiad yn fforwm TI E2E.

Cyfeiriadau

1. Canllaw Cychwyn Cyflym Pecyn Cychwyn AM62A EVM
2. Canllaw Cychwyn Cyflym Datrysiad Camera ArduCam V3Link
3. Dogfennaeth SDK Edge AI ar gyfer AM62A
4. Camerâu Clyfar Edge AI Gan Ddefnyddio Prosesydd AM62A Ynni-Effeithlon
5. Systemau Drych Camera ar AM62A
6. Systemau Monitro Gyrwyr a Meddiannaeth ar AM62A
7. Cais Camera Pedwar Sianel ar gyfer Amgylchynu View a Systemau Camera CMS
8. Academi Linux AM62Ax ar Alluogi Synhwyrydd CIS-2
9. ModelZoo Edge AI
10. Stiwdio Edge AI
11. Offeryn Perf_stats

Rhannau TI y Cyfeirir atynt yn y Nodyn Cais hwn:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

HYSBYSIAD AC YMWADIAD PWYSIG

TI YN DARPARU DATA TECHNEGOL A DIBYNADWYEDD (GAN GYNNWYS TAFLENNI DATA), ADNODDAU DYLUNIO (GAN GYNNWYS DYLUNIAU CYFEIRNOD), CAIS NEU GYNGOR DYLUNIO ARALL, WEB OFFER, GWYBODAETH DDIOGELWCH, AC ADNODDAU ERAILL “FEL Y MAE” A GYDA POB FAWL, AC YN GWRTHOD POB GWARANT, YN MYNEGOL A GOBLYGEDIG, GAN GYNNWYS HEB GYFYNGIAD UNRHYW WARANTIAETHAU GOBLYGEDIG O FEL RHAI SY ' N CAEL EI GADWADAU AT DDIBENION ARBENNIG O RAN NEU GYFARWYDDYD .

Mae'r adnoddau hyn wedi'u bwriadu ar gyfer datblygwyr medrus sy'n dylunio gyda chynhyrchion TI. Chi yn unig sy'n gyfrifol am

1. dewis y cynhyrchion TI priodol ar gyfer eich cais,
2. dylunio, dilysu a phrofi eich cais, a
3. sicrhau bod eich cais yn bodloni safonau perthnasol, ac unrhyw ofynion diogelwch, diogeledd, rheoleiddiol, neu ofynion eraill.

Mae'r adnoddau hyn yn destun newid heb rybudd. Mae TI yn caniatáu ichi ddefnyddio'r adnoddau hyn dim ond ar gyfer datblygu cymhwysiad sy'n defnyddio'r cynhyrchion TI a ddisgrifir yn yr adnodd. Gwaherddir atgynhyrchu ac arddangos yr adnoddau hyn mewn unrhyw ffordd arall. Ni roddir trwydded i unrhyw hawl eiddo deallusol arall gan TI nac i unrhyw hawl eiddo deallusol trydydd parti. Mae TI yn gwadu cyfrifoldeb am, a byddwch yn indemnio TI a'i gynrychiolwyr yn llawn yn erbyn, unrhyw hawliadau, difrod, costau, colledion ac atebolrwydd sy'n deillio o'ch defnydd o'r adnoddau hyn.

Darperir cynhyrchion TI yn amodol ar Delerau Gwerthu TI neu delerau perthnasol eraill sydd ar gael naill ai ar ti.com neu ei ddarparu ar y cyd â chynhyrchion TI o'r fath. Nid yw darpariaeth TI o'r adnoddau hyn yn ehangu nac yn newid fel arall warantau cymwys neu ymwadiadau gwarant TI ar gyfer cynhyrchion TI.

Mae TI yn gwrthwynebu ac yn gwrthod unrhyw delerau ychwanegol neu wahanol y gallech fod wedi'u cynnig.

HYSBYSIAD PWYSIG

• Cyfeiriad Post: Texas Instruments, Blwch Swyddfa'r Post 655303, Dallas, Texas 75265
• Hawlfraint © 2024, Texas Instruments Incorporated

Cwestiynau Cyffredin

Dogfennau / Adnoddau

Texas Instruments AM6x yn Datblygu Camera Lluosog [pdfCanllaw Defnyddiwr AM62A, AM62P, AM6x Datblygu Camera Lluosog, AM6x, Datblygu Camera Lluosog, Camera Lluosog, Camera

Cyfeiriadau

• Llawlyfr Defnyddiwr