Gwida għall-Utent tal-Iżvilupp ta' Kameras Multipli ta' Texas Instruments AM6x

Il-kameras inkorporati għandhom rwol kruċjali fis-sistemi tal-viżjoni moderni.
L-użu ta' diversi kameras f'sistema jtejjeb il-kapaċitajiet u jippermetti kompiti li ma jistgħux jitwettqu b'kamera waħda.

Applikazzjonijiet li jużaw Kameras multipli:

Sorveljanza tas-Sigurtà: Ittejjeb il-kopertura tas-sorveljanza, it-traċċar tal-oġġetti, u l-preċiżjoni tar-rikonoxximent.
Jdawru View: Jippermetti viżjoni stereo għal kompiti bħad-detezzjoni ta' ostakli u l-manipulazzjoni ta' oġġetti.

Reġistratur tal-Kabina u Sistema ta' Mera tal-Kamera: Jipprovdi kopertura estiża u jelimina l-punti għamja.
Immaġini Mediċi: Joffri preċiżjoni mtejba fin-navigazzjoni kirurġika u l-endoskopija.

Drones u Immaġini mill-Ajru: Aqbad immaġnijiet b'riżoluzzjoni għolja minn angoli differenti għal diversi applikazzjonijiet.

Konnessjoni ta' Kameras CSI-2 Multipli mas-SoC:
Biex tqabbad diversi kameras CSI-2 mas-SoC, segwi l-linji gwida pprovduti fil-manwal tal-utent. Kun żgur li kull kamera hija allinjata u konnessa sew mal-portijiet magħżula fuq is-SoC.

Nota tal-Applikazzjoni
Żvilupp ta' Applikazzjonijiet b'Kameras Multipli fuq AM6x

Jianzhong Xu, Qutaiba Saleh

ASTRATT
Dan ir-rapport jiddeskrivi l-iżvilupp ta' applikazzjonijiet bl-użu ta' diversi kameras CSI-2 fuq il-familja ta' apparati AM6x. Jiġi ppreżentat disinn ta' referenza ta' skoperta ta' oġġetti b'tagħlim profond fuq 4 kameras fuq l-AM62A SoC b'analiżi tal-prestazzjoni. Il-prinċipji ġenerali tad-disinn japplikaw għal SoCs oħra b'interfaċċja CSI-2, bħal AM62x u AM62P.

Introduzzjoni

Il-kameras integrati għandhom rwol importanti fis-sistemi moderni tal-viżjoni. L-użu ta' diversi kameras f'sistema jespandi l-kapaċitajiet ta' dawn is-sistemi u jippermetti kapaċitajiet li mhumiex possibbli b'kamera waħda. Hawn taħt hawn xi eżempjiampinqas applikazzjonijiet li jużaw kameras integrati multipli:

Sorveljanza tas-Sigurtà: Kameras multipli mqiegħda strateġikament jipprovdu kopertura ta' sorveljanza komprensiva. Dawn jippermettu monitoraġġ panoramiku views, inaqqsu l-punti għajta, u jtejbu l-eżattezza tat-traċċar u r-rikonoxximent tal-oġġetti, u b'hekk itejbu l-miżuri ta' sigurtà ġenerali.
Jdawru ViewJintużaw diversi kameras biex tinħoloq setup ta' viżjoni stereo, li jippermetti informazzjoni tridimensjonali u l-istima tal-fond. Dan huwa kruċjali għal kompiti bħad-detezzjoni ta' ostakli f'vetturi awtonomi, manipulazzjoni preċiża ta' oġġetti fir-robotika, u realiżmu mtejjeb ta' esperjenzi ta' realtà miżjuda.

Reġistratur tal-Kabina u Sistema ta' Mera tal-Kamera: Reġistratur tal-kabina tal-karozza b'ħafna kameras jista' jipprovdi aktar kopertura bl-użu ta' proċessur wieħed. Bl-istess mod, sistema ta' mera tal-kamera b'żewġ kameras jew aktar tista' tespandi l-kamp ta' viżjoni tas-sewwieq. view u jeliminaw il-punti mhux viżibbli min-naħat kollha ta' karozza.
Immaġini Mediċi: Kameras multipli jistgħu jintużaw fl-immaġini mediċi għal kompiti bħan-navigazzjoni kirurġika, u b'hekk il-kirurgi jingħataw perspettivi multipli għal preċiżjoni mtejba. Fl-endoskopija, kameras multipli jippermettu eżami bir-reqqa tal-organi interni.

Drones u Immaġini mill-Ajru: Id-drones spiss jiġu mgħammra b'kameras multipli biex jaqbdu immaġni jew vidjows b'riżoluzzjoni għolja minn angoli differenti. Dan huwa utli f'applikazzjonijiet bħall-fotografija mill-ajru, il-monitoraġġ tal-agrikoltura, u l-istħarriġ tal-art.
Bl-avvanz tal-mikroproċessuri, kameras multipli jistgħu jiġu integrati f'Sistema fuq Ċippa waħda.
(SoC) biex jipprovdi soluzzjonijiet kompatti u effiċjenti. L-AM62Ax SoC, b'ipproċessar ta' vidjow/viżjoni ta' prestazzjoni għolja u aċċelerazzjoni ta' tagħlim profond, huwa apparat ideali għall-każijiet ta' użu msemmija hawn fuq. Apparat ieħor tal-AM6x, l-AM62P, huwa mibni għal applikazzjonijiet ta' wiri 3D inkorporat ta' prestazzjoni għolja. Mgħammar b'aċċelerazzjoni tal-grafika 3D, l-AM62P jista' faċilment jgħaqqad flimkien l-immaġini minn kameras multipli u jipproduċi panoramika b'riżoluzzjoni għolja. viewIl-karatteristiċi innovattivi tal-AM62A/AM62P SoC ġew ippreżentati f'diversi pubblikazzjonijiet, bħal [4], [5], [6], eċċ. Din in-nota ta' applikazzjoni mhux se tirrepeti dawk id-deskrizzjonijiet tal-karatteristiċi iżda minflok tiffoka fuq l-integrazzjoni ta' diversi kameras CSI-2 f'applikazzjonijiet ta' viżjoni integrati fuq AM62A/AM62P.

It-Tabella 1-1 turi d-differenzi ewlenin bejn l-AM62A u l-AM62P f'dak li għandu x'jaqsam mal-ipproċessar tal-immaġni.

Tabella 1-1. Differenzi Bejn AM62A u AM62P fl-Ipproċessar tal-Immaġni

SoC	AM62A	AM62P
Tip ta' Kamera Appoġġjata	B'ISP integrat jew mingħajru	B'ISP integrat
Dejta tal-Output tal-Kamera	Mhux ipproċessat/YUV/RGB	YUV/RGB
ISP HWA	Iva	Nru
HWA tat-Tagħlim Profond	Iva	Nru
Grafika 3-D HWA	Nru	Iva

Konnessjoni ta' Kameras CSI-2 Multipli mas-SoC
Is-Sottosistema tal-Kamera fuq l-AM6x SoC fiha l-komponenti li ġejjin, kif muri fil-Figura 2-1:

Riċevitur MIPI D-PHY: jirċievi flussi tal-vidjow minn kameras esterni, u jappoġġja sa 1.5 Gbps għal kull korsija tad-dejta għal 4 korsiji.

Riċevitur CSI-2 (RX): jirċievi flussi tal-vidjo mir-riċevitur D-PHY u jew jibgħat il-flussi direttament lill-ISP jew jitfa' d-dejta fil-memorja DDR. Dan il-modulu jappoġġja sa 16-il kanal virtwali.
SHIM: DMA wrapper li jippermetti li l-istreams maqbuda jintbagħtu lill-memorja permezz tad-DMA. Dan il-wrapper jista' joħloq kuntesti multipli tad-DMA, b'kull kuntest jikkorrispondi għal kanal virtwali tar-Riċevitur CSI-2.

Kameras multipli jistgħu jiġu appoġġjati fuq l-AM6x permezz tal-użu ta' kanali virtwali ta' CSI-2 RX, anke jekk hemm interfaċċja waħda biss ta' CSI-2 RX fuq is-SoC. Komponent aggregattiv CSI-2 estern huwa meħtieġ biex jikkombina flussi multipli ta' kameras u jibgħathom lil SoC wieħed. Jistgħu jintużaw żewġ tipi ta' soluzzjonijiet aggregattivi CSI-2, deskritti fit-taqsimiet li ġejjin.

Aggregatur CSI-2 li juża SerDes
Mod wieħed kif jiġu kkombinati diversi flussi ta' kameras huwa li tintuża soluzzjoni ta' serializzazzjoni u deserjalizzazzjoni (SerDes). Id-dejta CSI-2 minn kull kamera tiġi kkonvertita minn serializer u trasferita permezz ta' kejbil. Id-deserializer jirċievi d-dejta serjalizzata kollha trasferita mill-kejbils (kejbil wieħed għal kull kamera), jikkonverti l-flussi lura għal dejta CSI-2, u mbagħad jibgħat fluss CSI-2 interleaved lill-interface CSI-2 RX uniku fuq is-SoC. Kull fluss ta' kamera huwa identifikat minn kanal virtwali uniku. Din is-soluzzjoni ta' aggregazzjoni toffri l-benefiċċju addizzjonali li tippermetti konnessjoni fuq distanza twila sa 15m mill-kameras sas-SoC.

Is-serjalizzaturi u d-deserializzaturi (SerDes) tal-FPD-Link jew tal-V3-Link, appoġġjati fl-AM6x Linux SDK, huma l-aktar teknoloġiji popolari għal dan it-tip ta’ soluzzjoni ta’ aggregazzjoni tas-CSI-2. Kemm id-deserializzaturi tal-FPD-Link kif ukoll tal-V3-Link għandhom kanali ta’ wara li jistgħu jintużaw biex jibagħtu sinjali ta’ sinkronizzazzjoni tal-frejms biex jissinkronizzaw il-kameras kollha, kif spjegat f’[7].
Figura 2-2 turi exampl-użu tas-SerDes biex tikkonnettja kameras multipli ma' AM6x SoC wieħed.

EżampParti minn din is-soluzzjoni ta' aggregazzjoni tista' tinstab fl-Arducam V3Link Camera Solution Kit. Dan il-kit għandu ċentru ta' deserializer li jaggrega 4 flussi ta' kameras CSI-2, kif ukoll 4 pari ta' serializers V3link u kameras IMX219, inklużi kejbils koassjali FAKRA u kejbils FPC ta' 22-pin. Id-disinn ta' referenza diskuss aktar tard huwa mibni fuq dan il-kit.

Aggregatur CSI-2 mingħajr l-użu ta' SerDes
Dan it-tip ta' aggregatur jista' jinteraġixxi direttament ma' diversi kameras MIPI CSI-2 u jgħaqqad id-dejta mill-kameras kollha għal nixxiegħa waħda ta' output CSI-2.

Figura 2-3 turi exampta' sistema bħal din. Dan it-tip ta' soluzzjoni ta' aggregazzjoni ma juża l-ebda serializer/deserializer iżda huwa limitat mid-distanza massima tat-trasferiment tad-dejta CSI-2, li hija sa 30 ċm. L-AM6x Linux SDK ma jappoġġjax dan it-tip ta' aggregatur CSI-2

L-Attivazzjoni ta' Kameras Multipli fis-Softwer

Arkitettura tas-Softwer tas-Sottosistema tal-Kamera
Figura 3-1 turi dijagramma ta' blokka ta' livell għoli tas-softwer tas-sistema ta' qbid tal-kamera fl-AM62A/AM62P Linux SDK, li tikkorrispondi għas-sistema HW fil-Figura 2-2.

Din l-arkitettura tas-softwer tippermetti lis-SoC jirċievi diversi flussi ta' kameras bl-użu ta' SerDes, kif muri fil-Figura 2-2. Is-SerDes tal-FPD-Link/V3-Link jassenja indirizz I2C uniku u kanal virtwali lil kull kamera. Għandha tinħoloq overlay ta' siġra ta' apparat unika bl-indirizz I2C uniku għal kull kamera. Is-sewwieq tas-CSI-2 RX jirrikonoxxi kull kamera bl-użu tan-numru tal-kanal virtwali uniku u joħloq kuntest DMA għal kull nixxiegħa ta' kamera. Jinħoloq nodu tal-vidjo għal kull kuntest DMA. Id-dejta minn kull kamera mbagħad tiġi riċevuta u maħżuna bl-użu tad-DMA fil-memorja kif xieraq. L-applikazzjonijiet tal-ispazju tal-utent jużaw in-nodi tal-vidjo li jikkorrispondu għal kull kamera biex jaċċessaw id-dejta tal-kamera. Eż.ampIl-modi ta' kif tuża din l-arkitettura tas-softwer huma mogħtija fil-Kapitolu 4 – Disinn ta' Referenza.

Kull sewwieq tas-sensur speċifiku li huwa konformi mal-qafas V4L2 jista' jiġi integrat f'din l-arkitettura. Irreferi għal [8] dwar kif tintegra sewwieq tas-sensur ġdid fl-SDK tal-Linux.

Arkitettura tas-Softwer tal-Pipeline tal-Immaġni

L-AM6x Linux SDK jipprovdi l-qafas GStreamer (GST), li jista' jintuża fl-ispazju tas-ser biex jintegra l-komponenti tal-ipproċessar tal-immaġni għal diversi applikazzjonijiet. L-Aċċeleraturi tal-Hardware (HWA) fuq is-SoC, bħall-Aċċeleratur tal-Pre-ipproċessar tal-Viżjoni (VPAC) jew l-ISP, l-kodifikatur/dekodifikatur tal-vidjo, u l-magna tal-komputazzjoni tat-tagħlim profond, huma aċċessati permezz tal-GST. pluginsIl-VPAC (ISP) innifsu għandu diversi blokki, inklużi Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), u Multiscalar (MSC), li kull wieħed jikkorrispondi għal plugin GST.
Il-Figura 3-2 turi d-dijagramma tal-blokki ta' pipeline tipiku tal-immaġni mill-kamera għall-kodifikazzjoni jew għall-ikkodifikazzjoni fil-fond.
Applikazzjonijiet ta' tagħlim fuq AM62A. Għal aktar dettalji dwar il-fluss tad-dejta minn tarf sa tarf, irreferi għad-dokumentazzjoni tal-EdgeAI SDK.

Għal AM62P, il-pipeline tal-immaġni huwa aktar sempliċi għax m'hemm l-ebda ISP fuq AM62P.

B'nodu tal-vidjo maħluq għal kull waħda mill-kameras, il-pipeline tal-immaġni bbażat fuq GStreamer jippermetti l-ipproċessar ta' inputs multipli ta' kameras (konnessi permezz tal-istess interface CSI-2 RX) simultanjament. Disinn ta' referenza li juża GStreamer għal applikazzjonijiet b'ħafna kameras jingħata fil-kapitlu li jmiss.

Disinn ta' Referenza

Dan il-kapitlu jippreżenta disinn ta' referenza għat-tħaddim ta' applikazzjonijiet b'kameras multipli fuq AM62A EVM, bl-użu tal-Arducam V3Link Camera Solution Kit biex jikkonnettja 4 kameras CSI-2 ma' AM62A u jħaddem id-detezzjoni ta' oġġetti għall-4 kameras kollha.

Kameras Appoġġjati
Il-kit Arducam V3Link jaħdem kemm ma' kameras ibbażati fuq FPD-Link/V3-Link kif ukoll ma' kameras CSI-2 kompatibbli mar-Raspberry Pi. Il-kameras li ġejjin ġew ittestjati:

Inġinerija D3 D3RCM-IMX390-953
Immaġini tal-Leopard LI-OV2312-FPDLINKIII-110H
Kameras IMX219 fil-Kit tas-Soluzzjoni tal-Kamera Arducam V3Link

Twaqqif ta' Erba' Kameras IMX219
Segwi l-istruzzjonijiet ipprovduti fil-Gwida ta' Bidu Mgħaġġel tal-AM62A Starter Kit EVM biex tissettja l-SK-AM62A-LP EVM (AM62A SK) u l-Gwida ta' Bidu Mgħaġġel tas-Soluzzjoni tal-Kamera ArduCam V3Link biex tqabbad il-kameras mal-AM62A SK permezz tal-kit V3Link. Kun żgur li l-pinnijiet fuq il-kejbils flessibbli, il-kameras, il-bord V3Link, u l-AM62A SK huma kollha allinjati sew.

Il-Figura 4-1 turi s-setup użat għad-disinn ta’ referenza f’dan ir-rapport. Il-komponenti ewlenin fis-setup jinkludu:

1X SK-AM62A-LP EVM bord
1X Bord tal-adapter Arducam V3Link d-ch
Kejbil FPC li jgħaqqad l-Arducam V3Link mal-SK-AM62A
4X adapters tal-kamera V3Link (serjalizzaturi)
4X kejbils koassjali RF biex jgħaqqdu s-serjalizzaturi V3Link mal-kit V3Link d-ch
4X Kameras IMX219
4X kejbils CSI-2 ta' 22 pin biex jgħaqqdu l-kameras mas-serjalizzaturi
Kejbils: Kejbil HDMI, USB-C biex jagħti l-enerġija lil SK-AM62A-LP u enerġija ta' 12V minn sors V3Link d-ch kit)
Komponenti oħra mhux murija fil-Figura 4-1: kard micro-SD, kejbil micro-USB biex taċċessa SK-AM62A-LP, u Ethernet għall-istriming

Konfigurazzjoni tal-Kameras u l-Interfaċċja CSI-2 RX
Issettja s-softwer skont l-istruzzjonijiet ipprovduti fil-Gwida ta' Bidu Mgħaġġel tal-Arducam V3Link. Wara li tħaddem l-iskritt tas-setup tal-kamera, setup-imx219.sh, il-format tal-kamera, il-format tal-interfaċċja CSI-2 RX, u r-rotot minn kull kamera għan-nodu tal-vidjo korrispondenti se jiġu kkonfigurati kif suppost. Erba' nodi tal-vidjo huma maħluqa għall-erba' kameras IMX219. Il-kmand "v4l2-ctl –list-devices" juri l-apparati tal-vidjo V4L2 kollha, kif muri hawn taħt:

Hemm 6 nodi tal-vidjo u nodu tal-midja wieħed taħt tiscsi2rx. Kull nodu tal-vidjo jikkorrispondi għal kuntest DMA allokat mis-sewwieq CSI2 RX. Mis-6 nodi tal-vidjo, 4 jintużaw għall-4 kameras IMX219, kif muri fit-topoloġija tal-pajp tal-midja hawn taħt:

Kif muri hawn fuq, l-entità tal-midja 30102000.ticsi2rx għandha 6 source pads, iżda l-ewwel 4 biss jintużaw, kull wieħed għal IMX219 wieħed. It-topoloġija tal-media pipe tista' wkoll tiġi illustrata grafikament. Mexxi l-kmand li ġej biex tiġġenera dot file:

Imbagħad mexxi l-kmand t'hawn taħt fuq PC host Linux biex tiġġenera PNG file:

Figura 4-2 hija stampa ġġenerata bl-użu tal-kmandi mogħtija hawn fuq. Il-komponenti fl-arkitettura tas-softwer ta' Figura 3-1 jistgħu jinstabu f'din il-grafika.

Streaming minn Erba' Kameras
Billi kemm il-ħardwer kif ukoll is-softwer ikunu ssettjati kif suppost, applikazzjonijiet b'ħafna kameras jistgħu jaħdmu mill-ispazju tal-utent. Għal AM62A, l-ISP irid jiġi aġġustat biex jipproduċi kwalità tajba tal-immaġni. Irreferi għall-Gwida tal-Irfinar tal-ISP tal-AM6xA għal kif twettaq l-irfinar tal-ISP. It-taqsimiet li ġejjin jippreżentaw eżempjuampfajls ta' streaming ta' dejta tal-kamera għal display, streaming ta' dejta tal-kamera għal netwerk, u ħażna tad-dejta tal-kamera għal files.

Streaming tad-Dejta tal-Kamera għall-Wiri
Applikazzjoni bażika ta' din is-sistema b'ħafna kameras hija li tistrimja l-vidjows mill-kameras kollha għal display imqabbad mal-istess SoC. Dan li ġej huwa eżempju ta' pipeline tal-GStreamerample tal-istrimjar ta' erba' IMX219 għal display (in-numri tan-nodi tal-vidjow u n-numri v4l-subdev fil-pipeline x'aktarx jinbidlu minn reboot għal reboot).

Streaming tad-Dejta tal-Kamera permezz tal-Ethernet
Minflok ma tixxandar lejn display imqabbad mal-istess SoC, id-dejta tal-kamera tista' wkoll tixxandar permezz tal-Ethernet. In-naħa li tirċievi tista' tkun jew proċessur AM62A/AM62P ieħor jew PC ospitanti. Dan li ġej huwa eżempjuample tal-istrimjar tad-dejta tal-kamera permezz tal-Ethernet (bl-użu ta' żewġ kameras għas-sempliċità) (innota l-plugin tal-encoder użat fil-pipeline):

Dan li ġej huwa exampkif tirċievi d-dejta tal-kamera u tixxandarha lejn display fuq proċessur AM62A/AM62P ieħor:

Ħażna tad-Data tal-Kamera għal Files
Minflok ma tixxandar lejn display jew permezz ta' netwerk, id-dejta tal-kamera tista' tinħażen lokalment files. Il-pipeline t'hawn taħt jaħżen id-dejta ta' kull kamera f' file (bl-użu ta' żewġ kameras bħala example għas-sempliċità).

Inferenza ta' Tagħlim Profond b'Multikamera

L-AM62A hija mgħammra b'aċċeleratur tat-tagħlim profond (C7x-MMA) b'sa żewġ TOPS, li huma kapaċi jħaddmu diversi tipi ta' mudelli ta' tagħlim profond għall-klassifikazzjoni, id-detezzjoni ta' oġġetti, is-segmentazzjoni semantika, u aktar. Din it-taqsima turi kif l-AM62A tista' tħaddem simultanjament erba' mudelli ta' tagħlim profond fuq erba' feeds ta' kameras differenti.

Għażla tal-Mudell
EdgeAI-ModelZoo tat-TI jipprovdi mijiet ta' mudelli avvanzati, li huma konvertiti/esportati mill-oqfsa ta' taħriġ oriġinali tagħhom għal format li jiffavorixxi l-integrazzjoni sabiex ikunu jistgħu jiġu trasferiti għall-aċċeleratur tat-tagħlim profond C7x-MMA. L-Edge AI Studio Model Analyzer ibbażat fuq il-cloud jipprovdi għodda faċli biex tużaha għall-"Għażla tal-Mudell". Din tiġi aġġornata dinamikament biex tinkludi l-mudelli kollha appoġġjati fit-TI EdgeAI-ModelZoo. L-għodda ma teħtieġ l-ebda esperjenza preċedenti u tipprovdi interface faċli biex tużaha biex tiddaħħal il-karatteristiċi meħtieġa fil-mudell mixtieq.

Għal dan l-esperiment ta' tagħlim profond b'ħafna kameras intgħażel it-TFL-OD-2000-ssd-mobV1-coco-mlperf. Dan il-mudell ta' skoperta ta' ħafna oġġetti huwa żviluppat fil-qafas TensorFlow b'riżoluzzjoni ta' input ta' 300×300. It-Tabella 4-1 turi l-karatteristiċi importanti ta' dan il-mudell meta mħarreġ fuq is-sett tad-dejta cCOCO b'madwar 80 klassi differenti.

Tabella 4-1. Karatteristiċi Ewlenin tal-Mudell TFL-OD-2000-ssd-mobV1-coco-mlperf.

Mudell	Kompitu	Riżoluzzjoni	FPS	mAP 50% Preċiżjoni fuq COCO	Latenza/Qafas (ms)	DDR BW Utilizzazzjoni (MB/Qafas)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Sejbien ta' Oġġetti Multipli	300×300	~152	15.9	6.5	18.839

Konfigurazzjoni tal-Pipeline
Il-Figura 4-3 turi l-pipeline tal-GStreamer ta' tagħlim profond b'4 kameras. TI tipprovdi sett ta' GStreamer plugins li jippermettu li ftit mill-ipproċessar tal-midja u l-inferenza tat-tagħlim profond jitħallew fuq l-aċċeleraturi tal-ħardwer. Xi eż.amples minn dawn plugins jinkludu tiovxisp, tiovxmultiscaler, tiovxmosaic, u tidlinferer. Il-pipeline fil-Figura 4-3 jinkludi dak kollu meħtieġ plugins għal pipeline GStreamer b'ħafna mogħdijiet għal inputs ta' 4 kameras, kull wieħed bi preproċessar tal-midja, inferenza ta' tagħlim profond, u postproċessar. Id-duplikat plugins għal kull waħda mill-mogħdijiet tal-kamera huma f'munzelli fil-graff għal dimostrazzjoni aktar faċli.
Ir-riżorsi tal-ħardwer disponibbli huma mqassma b'mod ugwali fost l-erba' mogħdijiet tal-kamera. Pereżempju, AM62A fih żewġ multiscalers tal-immaġni: MSC0 u MSC1. Il-pipeline jiddedika espliċitament MSC0 għall-ipproċessar tal-mogħdijiet tal-kamera 1 u tal-kamera 2, filwaqt li MSC1 huwa ddedikat għall-kamera 3 u l-kamera 4.

L-output tal-erba' pipelines tal-kameras huwa mnaqqas u kkonkatenat flimkien bl-użu tal-plugin tiovxmosaic. L-output jintwera fuq skrin wieħed. Il-Figura 4-4 turi l-output tal-erba' kameras b'mudell ta' tagħlim profond li jħaddem skoperta ta' oġġetti. Kull pipeline (kamera) qed taħdem bi 30 FPS u total ta' 120 FPS.

Li jmiss huwa l-iskritt sħiħ tal-pipeline għall-każ ta' użu ta' deep learning b'ħafna kameras muri fil-Figura 4-3.

Analiżi tal-Prestazzjoni

Is-setup b'erba' kameras bl-użu tal-bord V3Link u l-AM62A SK ġie ttestjat f'diversi xenarji ta' applikazzjoni, inkluż wiri dirett fuq skrin, streaming fuq Ethernet (erba' kanali UDP), reġistrazzjoni fuq 4 kanali separati files, u b'inferenza ta' tagħlim profond. F'kull esperiment, immonitorjajna r-rata tal-frejms u l-użu tal-qlub tas-CPU biex nesploraw il-kapaċitajiet tas-sistema kollha.

Kif intwera qabel fil-Figura 4-4, il-pipeline tat-tagħlim profond juża l-plugin tiperfoverlay GStreamer biex juri t-tagħbijiet tal-qalba tas-CPU bħala graff bil-bars fil-qiegħ tal-iskrin. B'mod awtomatiku, il-graff jiġi aġġornat kull żewġ sekondi biex juri t-tagħbijiet bħala perċentwal ta' utilizzazzjoni.tage. Minbarra l-plugin tiperfoverlay GStreamer, l-għodda perf_stats hija t-tieni għażla biex turi l-prestazzjoni ewlenija direttament fuq it-terminal b'għażla biex issalva f' fileDin l-għodda hija aktar preċiża meta mqabbla mat-tTiperfoverlays peress li dan tal-aħħar iżid tagħbija żejda fuq il-qlub tal-ARMm u d-DDR biex jiġbed il-graff u jpoġġih fuq l-iskrin. L-għodda perf_stats tintuża prinċipalment biex tiġbor ir-riżultati tal-użu tal-ħardwer fil-każijiet tat-test kollha murija f'dan id-dokument. Xi wħud mill-qlub tal-ipproċessar u l-aċċeleraturi importanti studjati f'dawn it-testijiet jinkludu l-proċessuri ewlenin (erba' qlub A53 Arm @ 1.25GHz), l-aċċeleratur tat-tagħlim profond (C7x-MMA @ 850MHz), il-VPAC (ISP) b'VISS u multiscalers (MSC0 u MSC1), u operazzjonijiet DDR.

It-Tabella 5-1 turi l-prestazzjoni u l-użu tar-riżorsi meta tuża AM62A b'erba' kameras għal tliet każijiet ta' użu, inkluż l-istrimjar ta' erba' kameras għal display, l-istrimjar fuq Ethernet, u r-reġistrazzjoni fuq erba' kejbils separati. files. Żewġ testijiet huma implimentati f'kull każ ta' użu: bil-kamera biss u bl-inferenza tat-tagħlim profond. Barra minn hekk, l-ewwel ringiela fit-Tabella 5-1 turi l-użi tal-ħardwer meta s-sistema operattiva biss kienet qed taħdem fuq AM62A mingħajr ebda applikazzjoni tal-utent. Dan jintuża bħala linja bażi biex jitqabbel meta jiġu evalwati l-użi tal-ħardwer tal-każijiet tat-test l-oħra. Kif muri fit-tabella, l-erba' kameras bit-tagħlim profond u l-wiri fuq l-iskrin operaw bi 30 FPS kull waħda, b'total ta' 120 FPS għall-erba' kameras. Din ir-rata għolja ta' frejms tinkiseb b'86% biss tal-kapaċità sħiħa tal-aċċeleratur tat-tagħlim profond (C7x-MMA). Barra minn hekk, huwa importanti li wieħed jinnota li l-aċċeleratur tat-tagħlim profond kien arloġġjat bi 850MHz minflok 1000MHz f'dawn l-esperimenti, li huwa madwar 85% biss tal-prestazzjoni massima tiegħu.

Tabella 5-1. Prestazzjoni (FPS) u Użu tar-Riżorsi tal-AM62A meta jintuża ma' 4 Kameras IMX219 għal Wiri fuq l-Iskrin, Streaming Ethernet, Reġistrazzjoni għal Files, u Twettiq ta' Inferenza ta' Tagħlim Profond

Applikazzjoni n	Pajpijiet (operazzjoni) )	Output	FPS pipeline medju	FPS totali	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x-MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Triq [MB/s]	DDR Wr [MB/s]	DDR Total [MB/s]
L-ebda App	Linja Bażi L-ebda operazzjoni	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamera biss	Nixxiegħa għall-Iskrin	Skrin	30	120	12	12	0	70	61	60	1015	757	1782
	Nixxiegħa fuq Ethernet	UDP: 4 portijiet 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Rekord biex files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam bit-tagħlim profond	Tagħlim fil-fond: Sejbien ta' oġġetti MobV1- coco	Skrin	30	120	38	25	86	71	85	82	2926	1676	4602
	Tagħlim fil-fond: Sejbien ta' oġġetti MobV1- coco u Stream fuq Ethernet	UDP: 4 portijiet 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Tagħlim fil-fond: Sejbien ta' oġġetti MobV1- coco u rrekordja għal files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Sommarju
Dan ir-rapport tal-applikazzjoni jiddeskrivi kif għandhom jiġu implimentati applikazzjonijiet b'ħafna kameras fuq il-familja ta' apparati AM6x. Fir-rapport jingħata disinn ta' referenza bbażat fuq il-V3Link Camera Solution Kit ta' Arducam u l-AM62A SK EVM, b'diversi applikazzjonijiet tal-kamera li jużaw erba' kameras IMX219, bħal streaming u skoperta ta' oġġetti. L-utenti huma mħeġġa jakkwistaw il-V3Link Camera Solution Kit mingħand Arducam u jirreplikaw dawn l-eżempji.amples. Ir-rapport jipprovdi wkoll analiżi dettaljata tal-prestazzjoni tal-AM62A waqt li juża erba' kameras taħt diversi konfigurazzjonijiet, inkluż wiri fuq skrin, streaming fuq Ethernet, u reġistrazzjoni fuq files. Juri wkoll il-kapaċità tal-AM62A li jwettaq inferenza ta' tagħlim profond fuq erba' flussi ta' kameras separati b'mod parallel. Jekk hemm xi mistoqsijiet dwar it-tħaddim ta' dawn l-eż.amples, ibgħat inkjesta fil-forum TI E2E.

Referenzi

Gwida għall-Bidu Mgħaġġel tal-EVM tal-Starter Kit tal-AM62A
Gwida għall-Bidu Mgħaġġel tas-Soluzzjoni tal-Kamera ArduCam V3Link
Dokumentazzjoni tal-SDK tal-Edge AI għall-AM62A
Kameras Intelliġenti Edge AI li Jużaw Proċessur AM62A Effiċjenti fl-Enerġija
Sistemi ta' Mera tal-Kamera fuq AM62A
Sistemi ta' Monitoraġġ tas-Sewwieqa u l-Okkupazzjoni fuq AM62A
Applikazzjoni tal-Kamera Quad Channel għal Surround View u Sistemi ta' Kameras CMS
AM62Ax Linux Academy dwar l-Attivazzjoni tas-Sensor CIS-2
MudellZoo tal-AI tat-Tarf
Studio tal-IA Edge
Għodda Perf_stats

Partijiet TI Msemmija f'din in-Nota ta' Applikazzjoni:

AVVIŻ IMPORTANTI U ĊAĦDA

TI TIPPROVDI DEJTA TEKNIKA U AFFIDABILTÀ (INKLUŻI SKEJJIET TA' DEJTA), RIŻORSI TA' DISINN (INKLUŻI DISINNI TA' REFERENZA), APPLIKAZZJONI JEW PARIR IEĦOR DISINN, WEB GĦODOD, INFORMAZZJONI DWAR IS-SIGURTÀ, U RIŻORSI OĦRA “KIF INHI” U BI-DISFATTI KOLLHA, U JIĊĊADD GĦALL-GARANZIJI KOLLHA, ESPRESSI U IMPLICITI, INKLUŻI MINGĦAJR LIMITATI KULL GARANZIJA Impliċita TA’ KUMMERĊJALITÀ, ADATTAZZJONI GĦAL GĦAN PARTIKOLARI TA’ PROPRJETÀ TA’ PROPRIETÀ JEW TA’ PROPRJETÀ MHUX TA’ PROPRIETÀ. .

Dawn ir-riżorsi huma maħsuba għal żviluppaturi tas-sengħa li jiddisinjaw bi prodotti TI. Inti biss responsabbli għal

tagħżel il-prodotti TI xierqa għall-applikazzjoni tiegħek,
tfassal, tivvalida, u tittestja l-applikazzjoni tiegħek, u
li tiżgura li l-applikazzjoni tiegħek tissodisfa l-istandards applikabbli, u kwalunkwe rekwiżit ieħor ta' sikurezza, sigurtà, regolatorju, jew rekwiżiti oħra.

Dawn ir-riżorsi huma soġġetti għal tibdil mingħajr avviż. TI tippermettilek tuża dawn ir-riżorsi biss għall-iżvilupp ta' applikazzjoni li tuża l-prodotti TI deskritti fir-riżorsa. Riproduzzjoni u wiri ieħor ta' dawn ir-riżorsi huwa pprojbit. L-ebda liċenzja ma tingħata lil xi dritt ieħor ta' proprjetà intellettwali ta' TI jew lil xi dritt ta' proprjetà intellettwali ta' parti terza. TI tiċħad ir-responsabbiltà għal, u int se tindennizza bis-sħiħ lil TI u lir-rappreżentanti tagħha kontra, kwalunkwe talba, danni, spejjeż, telf, u obbligazzjonijiet li jirriżultaw mill-użu tiegħek ta' dawn ir-riżorsi.

Il-prodotti ta' TI huma pprovduti soġġetti għat-Termini tal-Bejgħ ta' TI jew termini applikabbli oħra disponibbli jew fuq ti.com jew ipprovdut flimkien ma' tali prodotti TI. Il-provvista ta' TI ta' dawn ir-riżorsi ma tespandix jew inkella tbiddilx il-garanziji jew iċ-ċaħdiet tal-garanzija applikabbli ta' TI għall-prodotti TI.

TI toġġezzjona għal u tirrifjuta kwalunkwe terminu addizzjonali jew differenti li seta' pproponejt.

AVVIŻ IMPORTANTI

Indirizz postali: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Mistoqsijiet Frekwenti

M: Nista' nuża kwalunkwe tip ta' kamera mal-familja ta' apparati AM6x?

Il-familja AM6x tappoġġja tipi differenti ta' kameras, inklużi dawk b'ISP integrat jew mingħajru. Irreferi għall-ispeċifikazzjonijiet għal aktar dettalji dwar it-tipi ta' kameras appoġġjati.

X'inhuma d-differenzi ewlenin bejn l-AM62A u l-AM62P fl-ipproċessar tal-immaġni?

Il-varjazzjonijiet ewlenin jinkludu t-tipi ta' kameras appoġġjati, id-dejta tal-output tal-kamera, il-preżenza ta' ISP HWA, Deep Learning HWA, u 3-D Graphics HWA. Irreferi għat-taqsima tal-ispeċifikazzjonijiet għal paragun dettaljat.

Dokumenti / Riżorsi

Texas Instruments AM6x Żvilupp ta' Kameras Multipli [pdfGwida għall-Utent
AM62A, AM62P, AM6x Żvilupp ta' Kameras Multipli, AM6x, Żvilupp ta' Kameras Multipli, Kameras Multipli, Kamera

Referenzi

Manwal għall-Utent

Texas Instruments AM6x Żvilupp ta' Kameras Multipli

Speċifikazzjonijiet