Uzantogvidilo por Texas Instruments AM6x pri Disvolvado de Pluraj Fotiloj

Sekureca Gvatado: Plibonigas gvatadkovradon, objektospuradon kaj rekonprecizecon.
Ĉirkaŭi View: Ebligas sterean vidon por taskoj kiel obstaklodetekto kaj objektomanipulado.

Kabina Registrilo kaj Fotila Spegulsistemo: Provizas plilongigitan kovradon kaj forigas blindajn makulojn.
Medicina Bildigo: Proponas plibonigitan precizecon en kirurgia navigado kaj endoskopio.

Virabeloj kaj Aera Bildigo: Kaptu alt-rezoluciajn bildojn el diversaj anguloj por diversaj aplikoj.

Konektante Plurajn CSI-2 Fotilojn al la SoC:
Por konekti plurajn CSI-2-fotilojn al la SoC, sekvu la gvidliniojn donitajn en la uzantmanlibro. Certigu ĝustan vicigon kaj konekton de ĉiu fotilo al la indikitaj havenoj sur la SoC.

Noto pri aplikaĵo
Disvolvante Plurkameraajn Aplikaĵojn sur AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAKTO
Ĉi tiu raporto priskribas aplikaĵan disvolvon uzante plurajn CSI-2-fotilojn sur la AM6x-familio de aparatoj. Referenca dezajno de objektodetekto kun profunda lernado sur 4 fotiloj sur la AM62A SoC estas prezentita kun rendimenta analizo. Ĝeneralaj principoj de la dezajno validas por aliaj SoC-oj kun CSI-2-interfaco, kiel ekzemple AM62x kaj AM62P.

Enkonduko

Enkonstruitaj fotiloj ludas gravan rolon en modernaj vidsistemoj. Uzi plurajn fotilojn en sistemo vastigas la kapablojn de ĉi tiuj sistemoj kaj ebligas kapablojn, kiuj ne eblas per ununura fotilo. Jen kelkaj ekzemploj.ampmalpli da aplikaĵoj uzantaj plurajn enigitajn fotilojn:

Sekureca Gvatado: Pluraj fotiloj strategie lokigitaj provizas ampleksan gvatkovradon. Ili ebligas panoraman viewj, reduktas blindajn punktojn, kaj plifortigas la precizecon de objektospurado kaj -rekono, plibonigante ĝeneralajn sekurecajn mezurojn.
Ĉirkaŭi ViewPluraj fotiloj estas uzataj por krei sterean vidan aranĝon, ebligante tridimensian informon kaj la taksadon de profundo. Ĉi tio estas decida por taskoj kiel obstaklodetekto en aŭtonomaj veturiloj, preciza objektomanipulado en robotiko, kaj plibonigita realismo de plivastigitaj realecaj spertoj.

Kabinregistrilo kaj Spegulsistemo por Kameraoj: Aŭtokabinregistrilo kun pluraj kameraoj povas provizi pli da kovrado uzante unuopan procesoron. Simile, spegulsistemo por kameraoj kun du aŭ pli da kameraoj povas plivastigi la vidkampon de la ŝoforo. view kaj forigi blindajn punktojn de ĉiuj flankoj de aŭto.
Medicina Bildigo: Pluraj fotiloj povas esti uzataj en medicina bildigo por taskoj kiel kirurgia navigado, provizante al kirurgoj plurajn perspektivojn por plibonigita precizeco. En endoskopio, pluraj fotiloj ebligas detalan ekzamenon de internaj organoj.

Dronoj kaj Aera Bildigo: Dronoj ofte estas ekipitaj per pluraj fotiloj por kapti alt-rezoluciajn bildojn aŭ filmetojn el malsamaj anguloj. Ĉi tio utilas en aplikoj kiel aerfotarto, agrikultura monitorado kaj tergezo.
Kun la progreso de mikroprocesoroj, pluraj fotiloj povas esti integritaj en unuopan Sistemo-sur-ĉipon.
(SoC) por provizi kompaktajn kaj efikajn solvojn. La AM62Ax SoC, kun alt-efikeca video/vida prilaborado kaj profunda lernado-akcelo, estas ideala aparato por la supre menciitaj uzkazoj. Alia AM6x-aparato, la AM62P, estas konstruita por alt-efikecaj enigitaj 3D-ekranaj aplikoj. Ekipita per 3D-grafika akcelo, la AM62P povas facile kunigi la bildojn de pluraj fotiloj kaj produkti alt-rezolucian panoraman bildon. viewLa novigaj trajtoj de la AM62A/AM62P SoC estis prezentitaj en diversaj publikaĵoj, kiel ekzemple [4], [5], [6], ktp. Ĉi tiu aplikaĵnoto ne ripetos tiujn trajtojn, sed anstataŭe fokusiĝas al integrado de pluraj CSI-2-fotiloj en enigitajn vidaplikojn sur AM62A/AM62P.

Tabelo 1-1 montras la ĉefajn diferencojn inter AM62A kaj AM62P rilate al bildprilaborado.

Tabelo 1-1. Diferencoj Inter AM62A kaj AM62P en Bildprilaborado

SoC	AM62A	AM62P
Subtenataj Fotilaj Tipoj	Kun aŭ sen enkonstruita provizanto de interreto	Kun enkonstruita provizanto de interreto
Fotilaj Eliraj Datumoj	Kruda/YUV/RGB	YUV/RGB
ISP HWA	Jes	Ne
Profunda Lernado HWA	Jes	Ne
3D Grafikoj HWA	Ne	Jes

Konektante Plurajn CSI-2 Fotilojn al la SoC
La Kamera Subsistemo sur la AM6x SoC enhavas la jenajn komponantojn, kiel montrite en Figuro 2-1:

MIPI D-PHY Ricevilo: ricevas videofluojn de eksteraj fotiloj, subtenante ĝis 1.5 Gbps por datenleno por 4 lenoj.

CSI-2 Ricevilo (RX): ricevas videofluojn de la D-PHY ricevilo kaj aŭ rekte sendas la fluojn al la provizanto de interreto aŭ transdonas la datumojn al DDR-memoro. Ĉi tiu modulo subtenas ĝis 16 virtualajn kanalojn.
SHIM: DMA-envolvaĵo kiu ebligas sendi la kaptitajn fluojn al memoro per DMA. Pluraj DMA-kuntekstoj povas esti kreitaj per ĉi tiu envolvaĵo, kie ĉiu kunteksto korespondas al virtuala kanalo de la CSI-2-Ricevilo.

Pluraj fotiloj povas esti subtenataj sur la AM6x per la uzo de virtualaj kanaloj de CSI-2 RX, eĉ kvankam ekzistas nur unu CSI-2 RX-interfaco sur la SoC. Ekstera CSI-2-agreganta komponento estas necesa por kombini plurajn fotilfluojn kaj sendi ilin al ununura SoC. Du specoj de CSI-2-agregantaj solvoj povas esti uzataj, priskribitaj en la sekvaj sekcioj.

CSI-2 Agreganto Uzante SerDes
Unu maniero kombini plurajn kameraajn fluojn estas uzi seriigan kaj malseriigigan (SerDes) solvon. La CSI-2 datumoj de ĉiu kamerao estas konvertitaj per seriigilo kaj transdonitaj tra kablo. La malseriigilo ricevas ĉiujn seriigitajn datumojn transdonitajn de la kabloj (unu kablo por kamerao), konvertas la fluojn reen al CSI-2 datumoj, kaj poste sendas interplektitan CSI-2 fluon al la ununura CSI-2 RX-interfaco sur la SoC. Ĉiu kameraa fluo estas identigita per unika virtuala kanalo. Ĉi tiu agrega solvo ofertas la plian avantaĝon ebligi longdistancan konekton ĝis 15m de la kameraoj al la SoC.

La seriigiloj kaj malseriigiloj FPD-Link aŭ V3-Link (SerDes), subtenataj en la AM6x Linuksa SDK, estas la plej popularaj teknologioj por ĉi tiu tipo de CSI-2 agrega solvo. Kaj la malseriigiloj FPD-Link kaj V3-Link havas malantaŭajn kanalojn, kiuj povas esti uzataj por sendi kadro-sinkronigajn signalojn por sinkronigi ĉiujn fotilojn, kiel klarigite en [7].
Figuro 2-2 montras ekzampmaniero uzi la SerDes-on por konekti plurajn fotilojn al ununura AM6x SoC.

EksampParto de ĉi tiu agrega solvo troveblas en la Arducam V3Link Camera Solution Kit. Ĉi tiu ilaro havas malserialigilon, kiu agregas 4 CSI-2 kameraajn fluojn, kaj ankaŭ 4 parojn de V3link-serialigiloj kaj IMX219-fotilojn, inkluzive de FAKRA-koaksialaj kabloj kaj 22-pinglaj FPC-kabloj. La referenca dezajno diskutita poste estas konstruita sur ĉi tiu ilaro.

CSI-2 Agreganto sen Uzado de SerDes
Ĉi tiu tipo de agregilo povas rekte interfaci kun pluraj MIPI CSI-2-fotiloj kaj agregi la datumojn de ĉiuj fotiloj al ununura CSI-2-eliga fluo.

Figuro 2-3 montras ekzampde tia sistemo. Ĉi tiu tipo de agrega solvo ne uzas seriigilon/malseriigilon sed estas limigita de la maksimuma distanco de CSI-2 datumtransigo, kiu estas ĝis 30 cm. La AM6x Linuksa SDK ne subtenas ĉi tiun tipon de CSI-2 agregilo.

Ebligi Plurajn Fotilojn en Programaro

Arkitekturo de Programaro de Fotila Subsistemo
Figuro 3-1 montras altnivelan blokdiagramon de la programaro de la kameraa kaptosistemo en la Linuksa SDK AM62A/AM62P, kiu respondas al la aparatara sistemo en Figuro 2-2.

Ĉi tiu programara arkitekturo ebligas al la SoC ricevi plurajn kameraajn fluojn per la uzo de SerDes, kiel montrite en Figuro 2-2. La FPD-Link/V3-Link SerDes asignas unikan I2C-adreson kaj virtualan kanalon al ĉiu kamerao. Unika aparatarba paŭsaĵo devus esti kreita kun la unika I2C-adreso por ĉiu kamerao. La CSI-2 RX-pelilo rekonas ĉiun kameraon uzante la unikan virtualan kanalan numeron kaj kreas DMA-kuntekston por ĉiu kameraa fluo. Videonodo estas kreita por ĉiu DMA-kunteksto. Datumoj de ĉiu kamerao estas tiam ricevitaj kaj stokitaj uzante DMA en la memoro laŭe. Uzantspaco-aplikaĵoj uzas la videonodojn respondantajn al ĉiu kamerao por aliri la kameraajn datumojn. Ekz.ampeblecoj pri uzado de ĉi tiu programara arkitekturo estas donitaj en Ĉapitro 4 – Referenca Dezajno.
Ĉiu specifa sensora pelilo, kiu konformas al la kadro V4L2, povas esti konektebla kaj funkciigata en ĉi tiu arkitekturo. Vidu [8] pri kiel integri novan sensoran pelilon en la Linuksan SDK-on.

Bilda Dukta Programara Arkitekturo

La AM6x Linuksa SDK provizas la kadron GStreamer (GST), kiu povas esti uzata en la ser-spaco por integri la bildprilaborajn komponantojn por diversaj aplikoj. La Aparataj Akceliloj (HWA) sur la SoC, kiel ekzemple la Vision Pre-processing Accelerator (VPAC) aŭ ISP, videokodigilo/malkodilo, kaj profundlernada komputila motoro, estas alireblaj per GST. pluginsLa VPAC (ISP) mem havas plurajn blokojn, inkluzive de Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), kaj Multiscalar (MSC), ĉiu respondanta al GST-aldonaĵo.

Figuro 3-2 montras la blokdiagramon de tipa bilddukto de la fotilo al kodado aŭ profunda
lernado-aplikaĵoj sur AM62A. Por pliaj detaloj pri la kompleta datumfluo, vidu la dokumentaron de EdgeAI SDK.

Por AM62P, la bilddukto estas pli simpla ĉar ne estas ISP sur AM62P.

Kun videonodo kreita por ĉiu el la fotiloj, la bilddukto bazita sur GStreamer permesas la prilaboradon de pluraj fotilaj enigoj (konektitaj tra la sama CSI-2 RX-interfaco) samtempe. Referenca dezajno uzanta GStreamer por plurfotilaj aplikoj estas donita en la sekva ĉapitro.

Referenca Dezajno

Ĉi tiu ĉapitro prezentas referencan dezajnon por funkciigi plurkameraajn aplikaĵojn sur AM62A EVM, uzante la Arducam V3Link Camera Solution Kit por konekti 4 CSI-2-kameraojn al AM62A kaj funkciigi objektodetekton por ĉiuj 4 kameraoj.

Subtenataj Fotiloj
La ilaro Arducam V3Link funkcias kaj kun fotiloj bazitaj sur FPD-Link/V3-Link kaj kun CSI-2 fotiloj kongruaj kun Raspberry Pi. La jenaj fotiloj estis testitaj:

D3 Inĝenierarto D3RCM-IMX390-953
Leoparda Bildigo LI-OV2312-FPDLINKIII-110H

IMX219-fotiloj en la Arducam V3Link Camera Solution Kit

Agordante Kvar IMX219-Fotilojn
Sekvu la instrukciojn donitajn en la Gvidilo por Rapida Komenco de la AM62A Starter Kit EVM por agordi la SK-AM62A-LP EVM (AM62A SK) kaj la Gvidilon por Rapida Komenco de la ArduCam V3Link Camera Solution por konekti la fotilojn al AM62A SK per la V3Link-ilaro. Certigu, ke la stiftoj sur la flekseblaj kabloj, fotiloj, V3Link-plato kaj AM62A SK estas ĉiuj ĝuste vicigitaj.

Figuro 4-1 montras la aranĝon uzitan por la referenca dezajno en ĉi tiu raporto. La ĉefaj komponantoj en la aranĝo inkluzivas:

1X SK-AM62A-LP EVM-tabulo
1X Arducam V3Link d-kanala adaptila plato
FPC-kablo konektanta Arducam V3Link al SK-AM62A

4X V3Link-fotilaj adaptiloj (seriigiloj)
4X RF-koaksialaj kabloj por konekti V3Link-serialigilojn al V3Link d-kanala ilaro
4X IMX219-Fotiloj

4X CSI-2 22-pinglaj kabloj por konekti fotilojn al seriigiloj
Kabloj: HDMI-kablo, USB-C por funkciigi SK-AM62A-LP kaj 12V-fonto por V3Link d-kanala ilaro)
Aliaj komponantoj ne montritaj en Figuro 4-1: mikro-SD-karto, mikro-USB-kablo por aliri SK-AM62A-LP, kaj Eterreto por fluado

Agordado de Fotiloj kaj CSI-2 RX Interfaco
Agordu la programaron laŭ la instrukcioj donitaj en la Arducam V3Link Rapida Komenca Gvidilo. Post lanĉo de la kameraa agorda skripto, setup-imx219.sh, la formato de la kamerao, la CSI-2 RX interfaca formato, kaj la vojoj de ĉiu kamerao al la koresponda videonodo estos ĝuste agorditaj. Kvar videonodoj estas kreitaj por la kvar IMX219-kameraoj. La komando "v4l2-ctl –list-devices" montras ĉiujn V4L2-videoaparatojn, kiel montrite sube:

Estas 6 videonodoj kaj 1 amaskomunikila nodo sub tiscsi2rx. Ĉiu videonodo respondas al DMA-kunteksto asignita de la CSI2 RX-pelilo. El la 6 videonodoj, 4 estas uzataj por la 4 IMX219-fotiloj, kiel montrite en la topologio de la amaskomunikila tubo sube:

Kiel montrite supre, la amaskomunikila ento 30102000.ticsi2rx havas 6 fontajn kusenetojn, sed nur la unuaj 4 estas uzataj, ĉiu por unu IMX219. La topologio de la amaskomunikila tubo ankaŭ povas esti ilustrita grafike. Rulu la jenan komandon por generi punkton. file:

Poste rulu la jenan komandon sur Linuksa komputilo por generi PNG-dosieron. file:

Figuro 4-2 estas bildo generita per la supre donitaj komandoj. La komponantoj en la programara arkitekturo de Figuro 3-1 troveblas en ĉi tiu grafikaĵo.

Fluado de Kvar Fotiloj
Kun kaj aparataro kaj programaro ĝuste agorditaj, plurkameraaj aplikaĵoj povas funkcii el la uzantospaco. Por AM62A, la provizanto de interreto (ISP) devas esti agordita por produkti bonan bildkvaliton. Vidu la gvidilon pri agordado de la ISP de AM6xA por kiel plenumi la agordon de la ISP. La jenaj sekcioj prezentas ekzemplojn.ampdosierujoj de fluado de kameraaj datumoj al ekrano, fluado de kameraaj datumoj al reto, kaj stokado de la kameraaj datumoj al files.

Fluado de Fotilaj Datumoj al Ekrano
Baza apliko de ĉi tiu plurkameraa sistemo estas la retsendado de la filmetoj de ĉiuj kameraoj al ekrano konektita al la sama SoC. Jen ekzemplo de GStreamer-dukto.ampde fluado de kvar IMX219 al ekrano (la videonodnumeroj kaj v4l-subdev-numeroj en la dukto verŝajne ŝanĝiĝos de restartiĝo al restartiĝo).

Fluado de Fotilaj Datumoj tra Eterreto
Anstataŭ fluigi al ekrano konektita al la sama SoC, la kameraaj datumoj ankaŭ povas esti fluigitaj tra la Eterreto. La ricevanta flanko povas esti aŭ alia AM62A/AM62P procesoro aŭ gastiga komputilo. Jen ekzemplo.ampmaniero fluigi la fotilajn datumojn tra la Eterreto (uzante du fotilojn por simpleco) (notu la kodigilan kromprogramon uzatan en la procezo):

La sekvanta estas eksampmaniero ricevi la fotilajn datumojn kaj flui ilin al ekrano sur alia AM62A/AM62P procesoro:

Stokado de Fotilaj Datumoj al Files
Anstataŭ flui al ekrano aŭ tra reto, la kameraaj datumoj povas esti konservitaj loke files. La suba dukto stokas la datumojn de ĉiu fotilo al file (uzante du fotilojn kiel ekzempleample por simpleco).

Plurkameraa Profunda Lernado-Inferenco

AM62A estas ekipita per profunda lerna akcelilo (C7x-MMA) kun ĝis du TOPS, kiuj kapablas funkciigi diversajn specojn de profundaj lernado-modeloj por klasifiko, objektodetekto, semantika segmentado kaj pli. Ĉi tiu sekcio montras kiel AM62A povas samtempe funkciigi kvar profundajn lernado-modelojn sur kvar malsamaj kameraaj fluoj.

Selektado de modelo
EdgeAI-ModelZoo de TI provizas centojn da pintnivelaj modeloj, kiuj estas konvertitaj/eksportitaj el siaj originalaj trejnaj kadroj al enkonstruebla-amika formato, por ke ili povu esti transdonitaj al la profunda lerna akcelilo C7x-MMA. La nub-bazita Edge AI Studio Model Analyzer provizas facile uzeblan ilon por "Modela Elekto". Ĝi estas dinamike ĝisdatigita por inkluzivi ĉiujn modelojn subtenatajn en TI EdgeAI-ModelZoo. La ilo ne postulas antaŭan sperton kaj provizas facile uzeblan interfacon por enigi la funkciojn bezonatajn en la dezirata modelo.

La TFL-OD-2000-ssd-mobV1-coco-mlperf estis elektita por ĉi tiu plurkameraa profunda lernada eksperimento. Ĉi tiu plurobjekta detektomodelo estas evoluigita en la TensorFlow-kadro kun enira rezolucio de 300×300. Tabelo 4-1 montras la gravajn trajtojn de ĉi tiu modelo kiam trejnita sur la cCOCO-datumbazo kun ĉirkaŭ 80 malsamaj klasoj.

Tabelo 4-1. Elstaraĵoj de la Modelo TFL-OD-2000-ssd-mobV1-coco-mlperf.

Modelo	Tasko	Rezolucio	FPS	mAP 50% Precizeco ĉe COCO	Latenteco/Kadro (ms)	DDR BW Utiligo (MB/Kadro)
TFL-OD-2000-ssd- mobV1-kokoso-mlperf	Detekto de pluraj objektoj	300×300	~152	15.9	6.5	18.839

Agordo de la dukto
Figuro 4-3 montras la 4-kameraan profundlernan GStreamer-dukton. TI provizas aron da GStreamer-programoj. plugins kiuj permesas malŝarĝi iujn el la amaskomunikila prilaborado kaj la profunda lernado-inferenco al la aparataraj akceliloj. Kelkaj ekz.amples el tiuj plugins inkluzivas tiovxisp, tiovxmultiscaler, tiovxmosaic, kaj tidlinferer. La dukto en Figuro 4-3 inkluzivas ĉiujn necesajn plugins por plurvoja GStreamer-dukto por 4-kameraaj enigoj, ĉiu kun amaskomunikila antaŭprilaborado, profunda lernada inferenco kaj postprilaborado. La duplikatita plugins por ĉiu el la fotilaj vojoj estas stakigitaj en la grafikaĵo por pli facila demonstraĵo.
La disponeblaj aparataraj rimedoj estas egale distribuitaj inter la kvar kameraaj vojoj. Ekzemple, AM62A enhavas du bildajn multskalilojn: MSC0 kaj MSC1. La dukto eksplicite dediĉas MSC0 al la prilaborado de la vojoj de kamerao 1 kaj kamerao 2, dum MSC1 estas dediĉita al kamerao 3 kaj kamerao 4.

La eligo de la kvar kameraaj duktoj estas malgrandigita kaj kunligita per la kromprogramo tiovxmosaic. La eligo estas montrata sur ununura ekrano. Figuro 4-4 montras la eligon de la kvar kameraoj kun profunda lerna modelo funkcianta per objekta detekto. Ĉiu dukto (kamerao) funkcias je 30 kadroj po sekundo kaj sume 120 kadroj po sekundo.

Sekvas la plena skripto de la duktosistemo por la uzo-kazo de plurkameraa profunda lernado montrita en Figuro 4-3.

Analizo de rendimento

La aranĝo kun kvar fotiloj uzantaj la V3Link-karton kaj la AM62A SK estis testita en diversaj aplikaĵaj scenaroj, inkluzive de rekta montrado sur ekrano, fluado tra Eterreto (kvar UDP-kanaloj), registrado al 4 apartaj files, kaj per profunda lernado-inferenco. En ĉiu eksperimento, ni monitoris la bildfrekvencon kaj la utiligon de CPU-kernoj por esplori la kapablojn de la tuta sistemo.

Kiel antaŭe montrite en Figuro 4-4, la profunda lernado-dukto uzas la kromprogramon tiperfoverlay GStreamer por montri la ŝarĝojn de la CPU-kerno kiel stanggrafon ĉe la fundo de la ekrano. Defaŭlte, la grafikaĵo estas ĝisdatigita ĉiujn du sekundojn por montri la ŝarĝojn kiel utiligprocenton.tage. Aldone al la kromprogramo tiperfoverlay GStreamer, la ilo perf_stats estas dua eblo por montri la kernan rendimenton rekte en la terminalo kun eblo por konservi al fileĈi tiu ilo estas pli preciza kompare kun la tTiperfoverlay, ĉar ĉi-lasta aldonas ekstran ŝarĝon al la ARMm-kernoj kaj la DDR por desegni la grafikaĵon kaj supermeti ĝin sur la ekranon. La ilo perf_stats estas ĉefe uzata por kolekti rezultojn pri aparatara utiligo en ĉiuj testkazoj montritaj en ĉi tiu dokumento. Kelkaj el la gravaj prilaboraj kernoj kaj akceliloj studitaj en ĉi tiuj testoj inkluzivas la ĉefajn procesorojn (kvar A53 Arm-kernoj je 1.25GHz), la profundlernadan akcelilon (C7x-MMA je 850MHz), la VPAC (ISP) kun VISS kaj multskaliloj (MSC0 kaj MSC1), kaj DDR-operaciojn.

Tabelo 5-1 montras la rendimenton kaj rimedan utiligon uzante AM62A kun kvar fotiloj por tri uzkazoj, inkluzive de fluado de kvar fotiloj al ekrano, fluado per Eterreto, kaj registrado al kvar apartaj files. Du testoj estas efektivigitaj en ĉiu uzkazo: nur per la fotilo kaj per profunda lernado-inferenco. Krome, la unua vico en Tabelo 5-1 montras aparatarajn utiligojn kiam nur la operaciumo funkciis sur AM62A sen iuj uzantaj aplikaĵoj. Ĉi tio estas uzata kiel bazlinio por kompari kontraŭ kiam oni taksas aparatarajn utiligojn de la aliaj testkazoj. Kiel montrite en la tabelo, la kvar fotiloj kun profunda lernado kaj ekrana montrado funkciis je 30 kadroj po sekundo, kun entute 120 kadroj po sekundo por la kvar fotiloj. Ĉi tiu alta bildfrekvenco estas atingita per nur 86% de la plena kapacito de la profunda lernada akcelilo (C7x-MMA). Krome, gravas noti, ke la profunda lernada akcelilo estis horloĝigita je 850MHz anstataŭ 1000MHz en ĉi tiuj eksperimentoj, kio estas nur ĉirkaŭ 85% de ĝia maksimuma rendimento.

Tabelo 5-1. Elfaro (FPS) kaj Rimeda Uzado de AM62A kiam uzata kun 4 IMX219-Fotiloj por Ekran-Montro, Eterreta Fluo, Registrado al Files, kaj Elfarante Profundan Lernadon Inferencante

Apliko n	Dukto (operacio )	Eligo	FPS averaĝaj duktoj	FPS entute	MPU-oj A53s je 1.25 GHz [%]	Mikrometro R5 [%]	DLA (C7x- MMA) je 850 MHz [%]	VISO [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Sume [MB/s]
Neniu Aplikaĵo	Bazlinio Neniu operacio	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Fotilo nur	Rojo al Ekrano	Ekrano	30	120	12	12	0	70	61	60	1015	757	1782
	Fluo super Eterreto	UDP: 4 havenoj 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Rekordo al files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam kun profunda lernado	Profunda lernado: Objekta detekto MobV1- coco	Ekrano	30	120	38	25	86	71	85	82	2926	1676	4602
	Profunda lernado: Objekta detekto MobV1- coco kaj Stream super Eterreto	UDP: 4 havenoj 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Profunda lernado: Objekta detekto MobV1- coco kaj registrado al files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Resumo
Ĉi tiu aplikaĵa raporto priskribas kiel efektivigi plurkameraajn aplikaĵojn sur la aparatoj de la familio AM6x. Referenca dezajno bazita sur la V3Link Camera Solution Kit de Arducam kaj AM62A SK EVM estas provizita en la raporto, kun pluraj kameraaj aplikaĵoj uzantaj kvar IMX219-kameraojn, kiel ekzemple fluado kaj objektodetekto. Uzantoj estas instigitaj akiri la V3Link Camera Solution Kit de Arducam kaj reprodukti ĉi tiujn ekzemplojn.amples. La raporto ankaŭ provizas detalan analizon pri la rendimento de AM62A dum uzado de kvar fotiloj sub diversaj konfiguracioj, inkluzive de montrado al ekrano, fluado per Eterreto kaj registrado al files. Ĝi ankaŭ montras la kapablon de AM62A plenumi profundan lernan inferencon sur kvar apartaj kameraaj fluoj paralele. Se estas demandoj pri la efektivigo de ĉi tiuj ekz.amples, sendu demandon ĉe la forumo TI E2E.

Referencoj

AM62A Startiga Kompleto EVM Rapida Komenca Gvidilo

Gvidilo por Rapida Komenco de la Fotila Solvo ArduCam V3Link
Dokumentaro de Edge AI SDK por AM62A
Inteligentaj Fotiloj kun AI kaj Randaj Uzantoj de Energiŝpara Procesoro AM62A

Fotilaj Spegulaj Sistemoj sur AM62A
Ŝoforo kaj Okupado Monitoradaj Sistemoj sur AM62A
Aplikaĵo de Kvar-Kanala Fotilo por Ĉirkaŭa View kaj CMS-Fotilaj Sistemoj

AM62Ax Linuksa Akademio pri Ebligado de CIS-2 Sensilo
Randa AI-ModeloZoo
Randa AI-Studio

Ilo Perf_stats

TI-Partoj Menciitaj en Ĉi Tiu Aplikaĵa Noto:

https://www.ti.com/product/AM62A7

GRAVA AVIZO KAJ SENGAĜO

TI PROVIZAS TEKNIKAJ KAJ FIDINDECOJN DATUJN (INKLUDE DATENFOLIOJN), DESEGNAJ RIMEDOJ (INKLUDE REFERENC DESIGNOJ), APLIKAĴO AŬ ALIAJ DEzajnaj KONSILOJ, WEB ILOJ, SEKURECOINFORMOJ, KAJ ALIAJ RIMEDOJ "KIAL ESTAS" KAJ KUN ĈIUJ FALĈOJ, KAJ RILAS ĈIUJN GARANTIOJ, ESPPRIS KAJ IMPLITAJ, INKLUDE SEN LIMIGO IUJ IMPLITAJ GARANTIOJ PRI KOMERKABLECO, TAŬGECO POR APARTA CELO AŬ PROPRIOJN PROPRIOJN PROPRIOJN. .

Ĉi tiuj rimedoj estas destinitaj por lertaj programistoj, kiuj desegnas kun TI-produktoj. Vi estas sola respondeca pri

elektante la taŭgajn TI-produktojn por via aplikaĵo,

desegni, validigi kaj provi vian aplikaĵon, kaj
certigante, ke via aplikaĵo plenumas aplikeblajn normojn, kaj iujn ajn aliajn sekurecajn, protektajn, reguligajn aŭ aliajn postulojn.

Ĉi tiuj rimedoj povas ŝanĝiĝi sen avizo. TI permesas al vi uzi ĉi tiujn rimedojn nur por la disvolviĝo de aplikaĵo, kiu uzas la TI-produktojn priskribitajn en la rimedo. Alia reproduktado kaj montrado de ĉi tiuj rimedoj estas malpermesitaj. Neniu licenco estas donita al iu ajn alia intelekta proprietrajto de TI aŭ al iu ajn intelekta proprietrajto de tria partio. TI malkonfesas respondecon pri, kaj vi plene kompensos TI kaj ĝiajn reprezentantojn kontraŭ, iuj ajn postuloj, damaĝoj, kostoj, perdoj kaj respondecoj rezultantaj el via uzo de ĉi tiuj rimedoj.

La produktoj de TI estas provizitaj laŭ la Vendkondiĉoj de TI aŭ aliaj aplikeblaj kondiĉoj disponeblaj aŭ sur ti.com aŭ provizita kune kun tiaj TI-produktoj. La dispono de TI de ĉi tiuj rimedoj ne pligrandigas aŭ alie ŝanĝas la aplikeblajn garantiojn aŭ garantiajn malgarantiojn de TI por TI-produktoj.

TI kontraŭas kaj malakceptas iujn ajn kromajn aŭ malsamajn terminojn, kiujn vi eble proponis.

GRAVA AVIZO

Poŝta Adreso: Texas Instruments, Post Office Box 655303, Dallas, Teksaso 75265

Oftaj Demandoj

Ĉu mi povas uzi ian ajn tipon de fotilo kun la AM6x-familio de aparatoj?

La familio AM6x subtenas diversajn fotiltipojn, inkluzive tiujn kun aŭ sen enkonstruita provizanto de interreto (ISP). Vidu la specifojn por pliaj detaloj pri subtenataj fotiltipoj.

Kiuj estas la ĉefaj diferencoj inter AM62A kaj AM62P en bildprilaborado?

La ĉefaj variaĵoj inkluzivas subtenatajn fotiltipojn, fotilajn elirajn datumojn, ĉeeston de ISP HWA, Deep Learning HWA, kaj 3D Graphics HWA. Vidu la specifsekcion por detala komparo.

Dokumentoj/Rimedoj

Texas Instruments AM6x Disvolvanta Multoblan Fotilon [pdf] Uzantogvidilo
AM62A, AM62P, AM6x Evoluigante Plurajn Fotilojn, AM6x, Evoluigante Plurajn Fotilojn, Pluraj Fotiloj, Fotilo

Referencoj

Uzanto Manlibro

Texas Instruments AM6x Disvolvas Plurajn Fotilojn

Specifoj