Texas Instruments -logo

Texas Instruments AM6x Ngembangake Multiple Cameras

Texas-Instruments-AM6x-Developing-Multiple-Camera-product

Spesifikasi

  • Jeneng produk: AM6x kulawarga piranti
  • Tipe Kamera sing Didhukung: AM62A (Nganggo utawa tanpa ISP internal), AM62P (Kanthi ISP sing Dibangun)
  • Data Output Kamera: AM62A (Mentah/YUV/RGB), AM62P (YUV/RGB)
  • ISP HWA: AM62A (Ya), AM62P (No)
  • Deep Learning HWA: AM62A (Ya), AM62P (Ora)
  • 3-D Graphics HWA: AM62A (Ora), AM62P (Ya)

Pambuka kanggo Aplikasi Multiple-Kamera ing AM6x:

  • Kamera semat nduweni peran penting ing sistem visi modern.
  • Nggunakake macem-macem kamera ing sistem nambah kapabilitas lan mbisakake tugas sing ora bisa ditindakake kanthi kamera siji.

Aplikasi Nggunakake Multiple Cameras:

  • Pengawasan Keamanan: Ningkatake jangkoan pengawasan, pelacakan obyek, lan akurasi pangenalan.
  • Ngubengi View: Ngaktifake visi stereo kanggo tugas kaya deteksi alangan lan manipulasi obyek.
  • Perekam Kabin lan Sistem Mirror Kamera: Nyedhiyakake jangkoan lengkap lan ngilangi titik wuta.
  • Pencitraan medis: Nawakake presisi sing luwih dhuwur ing navigasi bedhah lan endoskopi.
  • Drone lan Pencitraan Udara: Njupuk gambar resolusi dhuwur saka sudhut sing beda kanggo macem-macem aplikasi.

Nyambungake Akeh Kamera CSI-2 menyang SoC:
Kanggo nyambungake sawetara kamera CSI-2 menyang SoC, tindakake pandhuan sing kasedhiya ing manual pangguna. Pesthekake keselarasan lan sambungan saben kamera menyang port sing ditunjuk ing SoC.

Cathetan Aplikasi
Ngembangake Aplikasi Multiple-Kamera ing AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAK
Laporan iki nggambarake pangembangan aplikasi nggunakake sawetara kamera CSI-2 ing kulawarga piranti AM6x. Desain referensi deteksi obyek kanthi sinau jero ing 4 kamera ing AM62A SoC diwenehi analisis kinerja. Prinsip umum desain ditrapake kanggo SoC liyane kanthi antarmuka CSI-2, kayata AM62x lan AM62P.

Pambuka

Kamera semat nduweni peran penting ing sistem visi modern. Nggunakake macem-macem kamera ing sistem nggedhekake kabisan sistem kasebut lan mbisakake kemampuan sing ora bisa ditindakake kanthi kamera siji. Ing ngisor iki sawetara mantanampsawetara aplikasi nggunakake sawetara kamera sing dipasang:

  • Pengawasan Keamanan: Akeh kamera sing diselehake kanthi strategis nyedhiyakake jangkoan pengawasan lengkap. Padha ngaktifake panorama views, nyuda titik wuta, lan nambah akurasi nelusuri obyek lan pangenalan, nambah ngukur keamanan sakabèhé.
  • Ngubengi View: Akeh kamera digunakake kanggo nggawe persiyapan sesanti stereo, mbisakake informasi telung dimensi lan ngira ambane. Iki penting banget kanggo tugas kayata deteksi alangan ing kendharaan otonom, manipulasi obyek sing tepat ing robotika, lan realisme pengalaman realitas ditambah.
  • Perekam Kabin lan Sistem Pangilon Kamera: Perekam kabin mobil kanthi pirang-pirang kamera bisa nyedhiyakake jangkoan luwih akeh nggunakake prosesor siji. Kajaba iku, sistem pangilon kamera karo loro utawa luwih kamera bisa nggedhekake lapangan driver saka view lan ngilangi titik wuta saka kabeh pinggir mobil.
  • Pencitraan Medis: Akeh kamera bisa digunakake ing pencitraan medis kanggo tugas kaya pandhu arah bedhah, nyedhiyakake ahli bedah kanthi macem-macem perspektif kanggo presisi sing luwih dhuwur. Ing endoskopi, macem-macem kamera bisa mriksa organ internal kanthi lengkap.
  • Drone lan Pencitraan Udara: Drone asring dilengkapi sawetara kamera kanggo njupuk gambar utawa video kanthi resolusi dhuwur saka macem-macem sudut. Iki migunani ing aplikasi kaya fotografi aerial, pemantauan pertanian, lan survey tanah.
  • Kanthi kemajuan mikroprosesor, sawetara kamera bisa digabung dadi siji Sistem-on-Chip.
    (SoC) kanggo nyedhiyakake solusi sing kompak lan efisien. AM62Ax SoC, kanthi pangolahan video / visi kinerja dhuwur lan akselerasi sinau sing jero, minangka piranti sing cocog kanggo kasus panggunaan sing kasebut ing ndhuwur. Piranti AM6x liyane, AM62P, dibangun kanggo aplikasi tampilan 3D sing dipasang kanthi kinerja dhuwur. Dilengkapi percepatan grafis 3D, AM62P bisa kanthi gampang nggabungake gambar saka macem-macem kamera lan ngasilake panorama kanthi resolusi dhuwur. view. Fitur inovatif saka AM62A/AM62P SoC wis ditampilake ing macem-macem publikasi, kayata [4], [5], [6], lan sapiturute. Cathetan aplikasi iki ora bakal mbaleni deskripsi fitur kasebut nanging fokus ing nggabungake macem-macem kamera CSI-2 menyang aplikasi visi sing dipasang ing AM62A/AM62P.
  • Tabel 1-1 nuduhake prabédan utama antarane AM62A lan AM62P minangka pangolahan gambar.

Tabel 1-1. Bedane Antarane AM62A lan AM62P ing Pangolahan Gambar

SoC AM62A AM62P
Tipe Kamera sing Didhukung Nganggo utawa tanpa ISP sing dibangun Kanthi ISP Built-in
Data Output Kamera Mentahan/YUV/RGB YUV/RGB
ISP HWA ya wis Ora
Deep Learning HWA ya wis Ora
3-D Graphics HWA Ora ya wis

Nyambungake Multiple CSI-2 Cameras menyang SoC
Subsistem Kamera ing AM6x SoC ngemot komponen ing ngisor iki, kaya sing ditampilake ing Gambar 2-1:

  • MIPI D-PHY Receiver: nampa stream video saka kamera eksternal, ndhukung nganti 1.5 Gbps saben jalur data kanggo 4 jalur.
  • CSI-2 Receiver (RX): nampa stream video saka panrima D-PHY lan langsung ngirim stream menyang ISP utawa mbucal data menyang memori DDR. Modul iki ndhukung nganti 16 saluran virtual.
  • SHIM: pambungkus DMA sing ngidini ngirim stream sing dijupuk menyang memori liwat DMA. Multiple konteks DMA bisa digawe dening pambungkus iki, karo saben konteks cocog karo saluran virtual saka CSI-2 Receiver.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (2)

Sawetara kamera bisa didhukung ing AM6x liwat saluran virtual CSI-2 RX, sanajan mung ana siji antarmuka CSI-2 RX ing SoC. Komponen agregat CSI-2 eksternal dibutuhake kanggo nggabungake pirang-pirang aliran kamera lan ngirim menyang siji SoC. Rong jinis solusi agregasi CSI-2 bisa digunakake, diterangake ing bagean ngisor iki.

CSI-2 Aggregator Nggunakake SerDes
Salah siji cara kanggo nggabungake sawetara stream kamera yaiku nggunakake solusi serializing lan deserializing (SerDes). Data CSI-2 saka saben kamera diowahi dening serializer lan ditransfer liwat kabel. Deserializer nampa kabeh data serialized ditransfer saka kabel (siji kabel saben kamera), ngowahi lepen bali menyang data CSI-2, lan banjur ngirim stream CSI-2 interleaved menyang antarmuka siji CSI-2 RX ing SoC. Saben stream kamera dikenali dening saluran virtual unik. Solusi agregat iki menehi mupangat tambahan kanggo ngidini sambungan jarak adoh nganti 15m saka kamera menyang SoC.

Serializer lan deserializer FPD-Link utawa V3-Link (SerDes), sing didhukung ing AM6x Linux SDK, minangka teknologi sing paling populer kanggo solusi gabungan CSI-2 iki. Loro-lorone FPD-Link lan V3-Link deserializers duwe saluran bali sing bisa digunakake kanggo ngirim sinyal sinkronisasi pigura kanggo nyinkronake kabeh kamera, minangka diterangno ing [7].
Gambar 2-2 nuduhake example nggunakake SerDes kanggo nyambungake sawetara kamera menyang AM6x SoC siji.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (3)

Example saka solusi aggregating iki bisa ditemokaké ing Arducam V3Link Camera Solution Kit. Kit iki nduweni hub deserializer sing nglumpukake 4 stream kamera CSI-2, uga 4 pasangan serializer V3link lan kamera IMX219, kalebu kabel koaksial FAKRA lan kabel FPC 22-pin. Desain referensi sing dibahas mengko dibangun ing kit iki.

CSI-2 Aggregator tanpa Nggunakake SerDes
Agregator jinis iki bisa langsung antarmuka karo sawetara kamera MIPI CSI-2 lan nglumpukake data saka kabeh kamera menyang siji aliran output CSI-2.

Gambar 2-3 nuduhake example saka sistem kuwi. Solusi aggregating jinis iki ora nggunakake serializer / deserializer nanging diwatesi kanthi jarak maksimal transfer data CSI-2, yaiku nganti 30cm. AM6x Linux SDK ora ndhukung jinis CSI-2 aggregator iki

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (4)

Ngaktifake Multiple Cameras ing Software

Arsitektur Perangkat Lunak Subsistem Kamera
Figure 3-1 nuduhake diagram pemblokiran tingkat dhuwur saka piranti lunak sistem jupuk kamera ing AM62A / AM62P Linux SDK, cocog karo sistem HW ing Figure 2-2.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (5)

  • Arsitèktur piranti lunak iki ngidini SoC nampa sawetara stream kamera kanthi nggunakake SerDes, kaya sing ditampilake ing Gambar 2-2. FPD-Link / V3-Link SerDes menehi alamat I2C unik lan saluran virtual kanggo saben kamera. Overlay wit piranti sing unik kudu digawe kanthi alamat I2C sing unik kanggo saben kamera. Driver CSI-2 RX ngenali saben kamera nggunakake nomer saluran virtual unik lan nggawe konteks DMA saben stream kamera. Node video digawe kanggo saben konteks DMA. Data saka saben kamera banjur ditampa lan disimpen nggunakake DMA menyang memori sing cocog. Aplikasi ruang pangguna nggunakake node video sing cocog karo saben kamera kanggo ngakses data kamera. Examples nggunakake arsitektur lunak iki diwenehi ing Bab 4 - Desain Referensi.
  • Sembarang driver sensor tartamtu sing tundhuk karo framework V4L2 bisa plug lan muter ing arsitektur iki. Waca [8] babagan carane nggabungake driver sensor anyar menyang Linux SDK.

Arsitektur Piranti Lunak Pipa Gambar

  • AM6x Linux SDK nyedhiyakake kerangka GStreamer (GST), sing bisa digunakake ing ruang ser kanggo nggabungake komponen pangolahan gambar kanggo macem-macem aplikasi. Hardware Accelerators (HWA) ing SoC, kayata Vision Pre-Processing Accelerator (VPAC) utawa ISP, video encoder/decoder, lan deep learning compute engine, diakses liwat GST plugins. VPAC (ISP) dhewe duwe pirang-pirang blok, kalebu Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), lan Multiscalar (MSC), saben cocog karo plugin GST.
  • Tokoh 3-2 nuduhake diagram pemblokiran saka pipa gambar khas saka kamera kanggo enkoding utawa jero
    aplikasi sinau ing AM62A. Kanggo rincian liyane babagan aliran data end-to-end, waca dokumentasi EdgeAI SDK.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (6)

Kanggo AM62P, pipa gambar luwih prasaja amarga ora ana ISP ing AM62P.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (7)

Kanthi simpul video sing digawe kanggo saben kamera, pipa gambar berbasis GStreamer ngidini pangolahan sawetara input kamera (disambungake liwat antarmuka CSI-2 RX sing padha) bebarengan. Desain referensi nggunakake GStreamer kanggo aplikasi multi-kamera diwenehi ing bab sabanjure.

Desain Referensi

Bab iki nampilake desain referensi kanggo mbukak aplikasi sawetara kamera ing AM62A EVM, nggunakake Kit Solusi Kamera Arducam V3Link kanggo nyambungake 4 kamera CSI-2 menyang AM62A lan deteksi obyek kanggo kabeh 4 kamera.

Kamera sing Didhukung
Kit Arducam V3Link bisa digunakake karo kamera basis FPD-Link/V3-Link lan kamera CSI-2 sing kompatibel karo Raspberry Pi. Kamera ing ngisor iki wis diuji:

  • D3 Teknik D3RCM-IMX390-953
  • Leopard Imaging LI-OV2312-FPDLINKIII-110H
  • Kamera IMX219 ing Kit Solusi Kamera Arducam V3Link

Nyiyapake Papat Kamera IMX219
Tindakake pandhuan sing kasedhiya ing AM62A Starter Kit EVM Pandhuan Mulai Cepet kanggo nyiyapake SK-AM62A-LP EVM (AM62A SK) lan ArduCam V3Link Camera Solution Quick Start Guide kanggo nyambungake kamera menyang AM62A SK liwat V3Link kit. Priksa manawa pin ing kabel fleksibel, kamera, papan V3Link, lan AM62A SK kabeh didadekake siji kanthi bener.

Gambar 4-1 nuduhake persiyapan sing digunakake kanggo desain referensi ing laporan iki. Komponen utama ing persiyapan kalebu:

  • 1X Papan EVM SK-AM62A-LP
  • 1X Arducam V3Link d-ch papan adaptor
  • Kabel FPC nyambungake Arducam V3Link kanggo SK-AM62A
  • 4X adaptor kamera V3Link (serialiser)
  • 4X kabel koaksial RF kanggo nyambungake serializer V3Link menyang V3Link d-ch kit
  • 4X IMX219 Kamera
  • 4X CSI-2 kabel 22-pin kanggo nyambungake kamera kanggo serializers
  • Kabel: Kabel HDMI, USB-C kanggo daya SK-AM62A-LP lan sumber daya 12V kanggo V3Link d-ch kit)
  • Komponen liyane sing ora ditampilake ing Gambar 4-1: kertu micro-SD, kabel micro-USB kanggo ngakses SK-AM62A-LP, lan Ethernet kanggo streaming

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (8)

Konfigurasi Kamera lan Antarmuka CSI-2 RX
Setel piranti lunak miturut pandhuan sing kasedhiya ing Pandhuan Mulai Cepet Arducam V3Link. Sawise mbukak skrip persiyapan kamera, setup-imx219.sh, format kamera, format antarmuka CSI-2 RX, lan rute saka saben kamera menyang simpul video sing cocog bakal dikonfigurasi kanthi bener. Sekawan node video digawe kanggo papat kamera IMX219. Printah "v4l2-ctl -list-devices" nampilake kabeh piranti video V4L2, kaya sing kapacak ing ngisor iki:

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (9)

Ana 6 simpul video lan 1 simpul media ing tiscsi2rx. Saben simpul video cocog karo konteks DMA sing diwenehake dening driver CSI2 RX. Saka 6 simpul video, 4 digunakake kanggo 4 kamera IMX219, kaya sing ditampilake ing topologi pipa media ing ngisor iki:

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (10)

Kaya sing dituduhake ing ndhuwur, entitas media 30102000.ticsi2rx duwe 6 bantalan sumber, nanging mung 4 sing digunakake, saben siji IMX219. Topologi pipa media uga bisa digambarake kanthi grafis. Jalanake printah ing ngisor iki kanggo ngasilake titik file:

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (11)

Banjur jalanake printah ing ngisor iki ing PC host Linux kanggo ngasilake PNG file:Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (12)

Gambar 4-2 minangka gambar sing digawe nggunakake printah ing ndhuwur. Komponen ing arsitektur piranti lunak Gambar 3-1 bisa ditemokake ing grafik iki.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (13)

Streaming saka Four Cameras
Kanthi hardware lan piranti lunak wis diatur kanthi bener, aplikasi multi-kamera bisa mbukak saka ruang pangguna. Kanggo AM62A, ISP kudu disetel kanggo ngasilake kualitas gambar sing apik. Waca Pandhuan Tuning ISP AM6xA babagan cara nindakake tuning ISP. Bagean ing ngisor iki ditampilake examples saka streaming data kamera menyang tampilan, streaming data kamera menyang jaringan, lan nyimpen data kamera kanggo files.

Streaming Data Kamera kanggo Ditampilake
Aplikasi dhasar saka sistem multi-kamera iki yaiku kanggo stream video saka kabeh kamera menyang tampilan sing disambungake menyang SoC sing padha. Ing ngisor iki minangka ex pipeline GStreamerample saka streaming papat IMX219 menyang tampilan (nomer simpul video lan nomer v4l-subdev ing pipeline kamungkinan bakal ngganti saka urip maneh kanggo urip maneh).

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (14) Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (15)

Streaming Data Kamera liwat Ethernet
Tinimbang streaming menyang tampilan sing disambungake menyang SoC sing padha, data kamera uga bisa dialirake liwat Ethernet. Sisih panampa bisa dadi prosesor AM62A / AM62P liyane utawa PC host. Ing ngisor iki minangka mantanample saka streaming data kamera liwat Ethernet (nggunakake loro kamera kanggo gamblang) (cathetan plugin encoder digunakake ing pipeline):

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (16)

Ing ngisor iki minangka mantanampkanggo nampa data kamera lan streaming menyang tampilan ing prosesor AM62A/AM62P liyane:

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (17)

Nyimpen Data Kamera menyang Files
Tinimbang streaming menyang tampilan utawa liwat jaringan, data kamera bisa disimpen ing lokal files. Pipo ing ngisor iki nyimpen data saben kamera menyang a file (nggunakake rong kamera minangka mantanample kanggo kesederhanaan).

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (18)Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (19)

Multikamera Deep Learning Inferensi

AM62A dilengkapi akselerator sinau jero (C7x-MMA) nganti rong TOPS, sing bisa mbukak macem-macem jinis model pembelajaran jero kanggo klasifikasi, deteksi obyek, segmentasi semantik, lan liya-liyane. Bagean iki nuduhake carane AM62A bisa bebarengan mbukak papat model learning jero ing papat feed kamera beda.

Pemilihan Model
TI's EdgeAI-ModelZoo nyedhiyakake atusan model paling canggih, sing diowahi / diekspor saka kerangka latihan asli menyang format ramah-embedded supaya bisa diundhuh menyang akselerator sinau jero C7x-MMA. Analyzer Model Edge AI Studio berbasis awan nyedhiyakake alat "Pilihan Model" sing gampang digunakake. Dianyari kanthi dinamis kanggo nyakup kabeh model sing didhukung ing TI EdgeAI-ModelZoo. Alat kasebut ora mbutuhake pengalaman sadurunge lan menehi antarmuka sing gampang digunakake kanggo ngetik fitur sing dibutuhake ing model sing dikarepake.

TFL-OD-2000-ssd-mobV1-coco-mlperf dipilih kanggo eksperimen sinau jero multi-kamera iki. Model deteksi multi-obyek iki dikembangake ing kerangka TensorFlow kanthi resolusi input 300 × 300. Tabel 4-1 nuduhake fitur penting saka model iki nalika dilatih ing dataset cCOCO karo bab 80 kelas beda.

Tabel 4-1. Sorot Fitur saka Model TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model tugas Resolusi FPS peta 50%

Akurasi ing COCO

Latency/Frame (ms) DDR BW

Panggunaan (MB/Frame)

TFL-OD-2000-ssd-

mobV1-coco-mlperf

Deteksi Multi Obyek 300×300 ~152 15.9 6.5 18.839

Setelan Pipa
Gambar 4-3 nuduhake pipeline GStreamer deep learning 4 kamera. TI nyedhiyakake suite GStreamer plugins sing ngidini sawetara pangolahan media lan inferensi sinau jero menyang akselerator hardware. Sawetara mantanamples iki plugins kalebu tiovxisp, tiovxmultiscaler, tiovxmosaic, lan tidlinferer. Pipa ing Gambar 4-3 kalebu kabeh sing dibutuhake plugins kanggo pipa GStreamer multipath kanggo input 4-kamera, saben karo preprocess media, inferensi sinau jero, lan postprocess. Sing duplikat plugins kanggo saben jalur kamera ditumpuk ing grafik kanggo demonstrasi luwih gampang.
Sumber daya hardware sing kasedhiya disebarake kanthi rata ing antarane papat jalur kamera. Contone, AM62A ngemot rong multiscaler gambar: MSC0 lan MSC1. Pipa kasebut kanthi jelas ngaturake MSC0 kanggo ngolah jalur kamera 1 lan kamera 2, dene MSC1 khusus kanggo kamera 3 lan kamera 4.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (21)

Output saka papat pipelines kamera wis scaled mudhun lan concatenated bebarengan nggunakake plugin tiovxmosaic. Output ditampilake ing layar siji. Gambar 4-4 nuduhake output saka papat kamera kanthi model pembelajaran jero sing mlaku deteksi obyek. Saben pipa (kamera) mlaku ing 30 FPS lan total 120 FPS.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (22)

Sabanjure yaiku skrip pipeline lengkap kanggo kasus panggunaan sinau jero multicamera sing ditampilake ing Gambar 4-3.

Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (23) Texas-Instruments-AM6x-Developing-Multiple-Camera-fig- (24)

Analisis Kinerja

Persiyapan karo papat kamera nggunakake papan V3Link lan AM62A SK diuji ing macem-macem skenario aplikasi, kalebu langsung ditampilake ing layar, streaming liwat Ethernet (papat saluran UDP), ngrekam menyang 4 kapisah. files, lan karo inferensi learning jero. Ing saben eksperimen, kita ngawasi tingkat pigura lan panggunaan inti CPU kanggo njelajah kemampuan kabeh sistem.

Kaya sing sadurunge ditampilake ing Figure 4-4, pipeline learning jero nggunakake plugin tiperfoverlay GStreamer kanggo nuduhake beban inti CPU minangka grafik bar ing sisih ngisor layar. Kanthi gawan, grafik dianyari saben rong detik kanggo nuduhake beban minangka persen panggunaantage. Saliyane plugin tiperfoverlay GStreamer, alat perf_stats minangka pilihan kapindho kanggo nuduhake kinerja inti langsung ing terminal kanthi pilihan kanggo nyimpen menyang file. Alat iki luwih akurat dibandhingake tTiperfoverlayas pungkasan nambah mbukak ekstra ing intine ARMm lan DDR kanggo tarik graph lan numpuki ing layar. Alat perf_stats utamane digunakake kanggo ngumpulake asil panggunaan hardware ing kabeh kasus uji sing ditampilake ing dokumen iki. Sawetara inti pangolahan lan akselerator penting sing diteliti ing tes kasebut kalebu prosesor utama (papat intine A53 Arm @ 1.25GHz), akselerator sinau jero (C7x-MMA @ 850MHz), VPAC (ISP) karo VISS lan multiscaler (MSC0 lan MSC1), lan operasi DDR.

Tabel 5-1 nuduhake kinerja lan panggunaan sumber daya nalika nggunakake AM62A kanthi papat kamera kanggo telung kasus panggunaan, kalebu streaming papat kamera menyang tampilan, streaming liwat Ethernet, lan ngrekam menyang papat kapisah. files. Loro tes ditindakake ing saben kasus panggunaan: mung nganggo kamera lan kanthi inferensi sinau sing jero. Kajaba iku, baris pisanan ing Tabel 5-1 nuduhake utilizations hardware nalika mung sistem operasi mlaku ing AM62A tanpa aplikasi pangguna. Iki digunakake minangka garis dasar kanggo mbandhingake nalika ngevaluasi panggunaan hardware saka kasus tes liyane. Kaya sing ditampilake ing tabel, papat kamera kanthi sinau jero lan tampilan layar dioperasikake ing 30 FPS saben, kanthi total 120 FPS kanggo papat kamera kasebut. Tingkat pigura dhuwur iki digayuh kanthi mung 86% saka kapasitas lengkap akselerator sinau jero (C7x-MMA). Kajaba iku, penting kanggo elinga yen akselerator sinau jero wis jam ing 850MHz tinimbang 1000MHz ing eksperimen kasebut, yaiku mung 85% saka kinerja maksimal.

Tabel 5-1. Kinerja (FPS) lan Pemanfaatan Sumber Daya AM62A nalika digunakake karo 4 Kamera IMX219 kanggo Tampilan Layar, Stream Ethernet, Rekam menyang Files, lan Performing Deep Learning Inferencing

Aplikasi n Pipa (operasi

)

Output FPS rata-rata pipa s FPS

gunggung

MPA A53s @ 1.25

GHz [%]

MCU R5 [%] DLA (C7x- MMA) @ 850

MHz [%]

VISS [%] MSC0 [%] MSC1 [%] DDR

Rd [MB/s]

DDR

Wr [MB/s]

DDR

Total [MB/s]

Ora App Baseline Ora operasi NA NA NA 1.87 1 0 0 0 0 560 19 579
kamera mung Aliran menyang Layar Layar 30 120 12 12 0 70 61 60 1015 757 1782
Stream liwat Ethernet UDP: 4

port 1920 × 1080

30 120 23 6 0 70 0 0 2071 1390 3461
Rekam kanggo files 4 files 1920×1080 30 120 25 3 0 70 0 0 2100 1403 3503
Cam karo Deep learning Pembelajaran jero: Deteksi obyek MobV1- coco Layar 30 120 38 25 86 71 85 82 2926 1676 4602
Learning jero: Deteksi obyek MobV1- coco lan Stream liwat Ethernet UDP: 4

port 1920 × 1080

28 112 84 20 99 66 65 72 4157 2563 6720
Learning jero: Deteksi obyek MobV1- coco lan rekaman kanggo files 4 files 1920×1080 28 112 87 22 98 75 82 61 2024 2458 6482

Ringkesan
Laporan aplikasi iki nerangake carane ngetrapake aplikasi multi-kamera ing kulawarga piranti AM6x. Desain referensi adhedhasar Kit Solusi Kamera V3Link Arducam lan AM62A SK EVM diwenehake ing laporan kasebut, kanthi sawetara aplikasi kamera nggunakake papat kamera IMX219, kayata streaming lan deteksi obyek. Pangguna dianjurake kanggo ndarbeni Kit Solusi Kamera V3Link saka Arducam lan niru mantan kasebutamples. Laporan kasebut uga menehi analisis rinci babagan kinerja AM62A nalika nggunakake papat kamera ing macem-macem konfigurasi, kalebu nampilake menyang layar, streaming liwat Ethernet, lan ngrekam menyang files. Iki uga nuduhake kemampuan AM62A kanggo nindakake inferensi sinau jero ing papat aliran kamera sing kapisah kanthi paralel. Yen ana pitakonan babagan mbukak mantan ikiamples, ngirim priksaan ing forum TI E2E.

Referensi

  1. AM62A Starter Kit EVM Pandhuan Cepet Mulai
  2. Solusi Kamera ArduCam V3Link Pandhuan Miwiti Cepet
  3. Dokumentasi Edge AI SDK kanggo AM62A
  4. Kamera Pintar Edge AI Nggunakake Prosesor AM62A Irit Energi
  5. Sistem Mirror Kamera ing AM62A
  6. Sistem Pemantauan Driver lan Occupancy ing AM62A
  7. Aplikasi Kamera Quad Channel kanggo Surround View lan Sistem Kamera CMS
  8. AM62Ax Linux Academy ing Ngaktifake CIS-2 Sensor
  9. Edge AI ModelZoo
  10. Edge AI Studio
  11. Alat Perf_stats

Bagian TI sing Dirujuk ing Cathetan Aplikasi Iki:

WARTA PENTING lan DISCLAIMER

TI Nyedhiyakake DATA TEKNIS lan reliabilitas (kalebu lembar DATA), SUMBER DESIGN (kalebu desain referensi), APLIKASI utawa saran desain liyane, WEB ALAT, INFORMASI KESELAMATAN, LAN SUMBER DAYA LAIN "Minangka anane" lan karo kabeh kesalahan, lan nolak kabeh JAMINAN, nyata lan tersirat, kalebu TANPA WATASAN JAMINAN DAGANG, KESESUAIAN KANGGO KANGGO KANGGO KANGGO KANGGO. .

Sumber daya iki dimaksudaké kanggo pangembang trampil ngrancang karo produk TI. Sampeyan mung tanggung jawab kanggo

  1. milih produk TI sing cocog kanggo aplikasi sampeyan,
  2. ngrancang, validasi, lan nguji aplikasi sampeyan, lan
  3. mesthekake yen aplikasi sampeyan cocog karo standar sing ditrapake, lan syarat safety, keamanan, peraturan, utawa liyane.

Sumber daya iki bisa diganti tanpa kabar. TI ngidini sampeyan nggunakake sumber daya kasebut mung kanggo pangembangan aplikasi sing nggunakake produk TI sing diterangake ing sumber kasebut. Reproduksi lan tampilan liyane sumber daya iki dilarang. Ora ana lisensi sing diwenehake marang hak properti intelektual TI liyane utawa hak properti intelektual pihak katelu. TI nolak tanggung jawab, lan sampeyan bakal menehi ganti rugi kanthi lengkap marang TI lan wakile marang tuntutan, kerusakan, biaya, kerugian, lan tanggung jawab sing kedadeyan saka panggunaan sumber daya kasebut.

Produk TI diwenehake miturut Ketentuan Penjualan TI utawa syarat liyane sing kasedhiya ing ti.com utawa kasedhiya bebarengan karo produk TI kuwi. Penyediaan TI kanggo sumber daya kasebut ora nggedhekake utawa ngganti jaminan utawa penafian garansi TI kanggo produk TI.

TI nolak lan nolak istilah tambahan utawa beda sing sampeyan usulake.

WARTA PENTING

  • Alamat Surat: Texas Instruments, Kotak Kantor Pos 655303, Dallas, Texas 75265
  • Hak cipta © 2024, Texas Instruments Incorporated

Pitakonan sing Sering Ditakoni

P: Apa aku bisa nggunakake jinis kamera apa wae karo piranti kulawarga AM6x?

Kulawarga AM6x ndhukung macem-macem jinis kamera, kalebu sing nganggo utawa tanpa ISP sing dibangun. Deleng spesifikasi kanggo rincian liyane babagan jinis kamera sing didhukung.

: Apa prabédan utama antarane AM62A lan AM62P ing pangolahan gambar?

Variasi utama kalebu jinis kamera sing didhukung, data output kamera, anané ISP HWA, Deep Learning HWA, lan 3-D Graphics HWA. Deleng bagean specifications kanggo comparison rinci.

 

Dokumen / Sumber Daya

Texas Instruments AM6x Ngembangake Multiple Camera [pdf] Pandhuan pangguna
AM62A, AM62P, AM6x Ngembangake Multiple Camera, AM6x, Ngembangake Multiple Camera, Multiple Camera, Camera

Referensi

Ninggalake komentar

Alamat email sampeyan ora bakal diterbitake. Kolom sing dibutuhake ditandhani *