Texas Instruments AM6x Membangunkan Panduan Pengguna Berbilang Kamera

Pengawasan Keselamatan: Meningkatkan liputan pengawasan, penjejakan objek dan ketepatan pengecaman.
Keliling View: Mendayakan penglihatan stereo untuk tugas seperti pengesanan halangan dan manipulasi objek.

Perakam Kabin dan Sistem Cermin Kamera: Menyediakan liputan lanjutan dan menghilangkan bintik buta.
Pengimejan Perubatan: Menawarkan ketepatan yang dipertingkatkan dalam navigasi pembedahan dan endoskopi.

Dron dan Pengimejan Udara: Tangkap imej resolusi tinggi dari sudut berbeza untuk pelbagai aplikasi.

Menyambungkan Berbilang Kamera CSI-2 ke SoC:
Untuk menyambungkan berbilang kamera CSI-2 ke SoC, ikut garis panduan yang disediakan dalam manual pengguna. Pastikan penjajaran dan sambungan yang betul bagi setiap kamera ke port yang ditetapkan pada SoC.

Nota Permohonan
Membangunkan Aplikasi Berbilang Kamera pada AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAK
Laporan ini menerangkan pembangunan aplikasi menggunakan berbilang kamera CSI-2 pada keluarga peranti AM6x. Reka bentuk rujukan pengesanan objek dengan pembelajaran mendalam pada 4 kamera pada SoC AM62A dipersembahkan dengan analisis prestasi. Prinsip umum reka bentuk digunakan pada SoC lain dengan antara muka CSI-2, seperti AM62x dan AM62P.

pengenalan

Kamera terbenam memainkan peranan penting dalam sistem penglihatan moden. Menggunakan berbilang kamera dalam sistem memperluaskan keupayaan sistem ini dan membolehkan keupayaan yang tidak boleh dilakukan dengan satu kamera. Di bawah adalah beberapa bekasampsedikit aplikasi menggunakan berbilang kamera terbenam:

Pengawasan Keselamatan: Berbilang kamera yang diletakkan secara strategik menyediakan liputan pengawasan yang komprehensif. Mereka membolehkan panorama views, mengurangkan bintik buta, dan meningkatkan ketepatan pengesanan dan pengecaman objek, meningkatkan langkah keselamatan keseluruhan.
Keliling View: Berbilang kamera digunakan untuk mencipta persediaan penglihatan stereo, membolehkan maklumat tiga dimensi dan anggaran kedalaman. Ini penting untuk tugas seperti pengesanan halangan dalam kenderaan autonomi, manipulasi objek tepat dalam robotik dan realisme yang dipertingkatkan bagi pengalaman realiti tambahan.

Perakam Kabin dan Sistem Cermin Kamera: Perakam kabin kereta dengan berbilang kamera boleh memberikan lebih liputan menggunakan satu pemproses. Begitu juga, sistem cermin kamera dengan dua atau lebih kamera boleh mengembangkan bidang pemandu view dan hilangkan bintik buta dari semua sisi kereta.
Pengimejan Perubatan: Berbilang kamera boleh digunakan dalam pengimejan perubatan untuk tugas seperti navigasi pembedahan, memberikan pakar bedah dengan pelbagai perspektif untuk ketepatan yang dipertingkatkan. Dalam endoskopi, berbilang kamera membolehkan pemeriksaan menyeluruh organ dalaman.

Drone dan Pengimejan Udara: Dron selalunya dilengkapi dengan berbilang kamera untuk menangkap imej atau video resolusi tinggi dari sudut yang berbeza. Ini berguna dalam aplikasi seperti fotografi udara, pemantauan pertanian dan ukur tanah.
Dengan kemajuan mikropemproses, berbilang kamera boleh diintegrasikan ke dalam satu Sistem pada Cip.
(SoC) untuk menyediakan penyelesaian yang padat dan cekap. SoC AM62Ax, dengan pemprosesan video/penglihatan berprestasi tinggi dan pecutan pembelajaran mendalam, ialah peranti yang sesuai untuk kes penggunaan yang dinyatakan di atas. Satu lagi peranti AM6x, AM62P, dibina untuk aplikasi paparan 3D terbenam berprestasi tinggi. Dilengkapi dengan pecutan grafik 3D, AM62P boleh dengan mudah mencantumkan imej daripada berbilang kamera dan menghasilkan panorama resolusi tinggi. view. Ciri-ciri inovatif SoC AM62A/AM62P telah dibentangkan dalam pelbagai penerbitan, seperti [4], [5], [6], dsb. Nota aplikasi ini tidak akan mengulangi perihalan ciri tersebut tetapi sebaliknya memfokuskan pada penyepaduan berbilang kamera CSI-2 ke dalam aplikasi penglihatan terbenam pada AM62A/AM62P.

Jadual 1-1 menunjukkan perbezaan utama antara AM62A dan AM62P dari segi pemprosesan imej.

Jadual 1-1. Perbezaan Antara AM62A dan AM62P dalam Pemprosesan Imej

SoC	AM62A	AM62P
Jenis Kamera yang Disokong	Dengan atau tanpa ISP terbina dalam	Dengan ISP Terbina dalam
Data Keluaran Kamera	Mentah/YUV/RGB	YUV/RGB
ISP HWA	ya	Tidak
Pembelajaran Mendalam HWA	ya	Tidak
Grafik 3-D HWA	Tidak	ya

Menyambungkan Berbilang Kamera CSI-2 ke SoC
Subsistem Kamera pada SoC AM6x mengandungi komponen berikut, seperti ditunjukkan dalam Rajah 2-1:

Penerima MIPI D-PHY: menerima strim video daripada kamera luaran, menyokong sehingga 1.5 Gbps setiap lorong data untuk 4 lorong.

Penerima CSI-2 (RX): menerima strim video daripada penerima D-PHY dan sama ada menghantar strim terus ke ISP atau membuang data ke memori DDR. Modul ini menyokong sehingga 16 saluran maya.
SHIM: pembalut DMA yang membolehkan penghantaran strim yang ditangkap ke ingatan melalui DMA. Berbilang konteks DMA boleh dibuat oleh pembungkus ini, dengan setiap konteks sepadan dengan saluran maya Penerima CSI-2.

Berbilang kamera boleh disokong pada AM6x melalui penggunaan saluran maya CSI-2 RX, walaupun hanya terdapat satu antara muka CSI-2 RX pada SoC. Komponen pengagregatan CSI-2 luaran diperlukan untuk menggabungkan berbilang strim kamera dan menghantarnya ke satu SoC. Dua jenis penyelesaian pengagregatan CSI-2 boleh digunakan, diterangkan dalam bahagian berikut.

Pengagregat CSI-2 Menggunakan SerDes
Salah satu cara untuk menggabungkan berbilang strim kamera ialah menggunakan penyelesaian bersiri dan penyahserikatan (SerDes). Data CSI-2 daripada setiap kamera ditukarkan oleh penyeri bersiri dan dipindahkan melalui kabel. Penyahserialisasi menerima semua data bersiri yang dipindahkan daripada kabel (satu kabel bagi setiap kamera), menukar strim kembali kepada data CSI-2, dan kemudian menghantar aliran CSI-2 berjalin ke antara muka CSI-2 RX tunggal pada SoC. Setiap strim kamera dikenal pasti oleh saluran maya yang unik. Penyelesaian pengagregatan ini menawarkan faedah tambahan untuk membenarkan sambungan jarak jauh sehingga 15m dari kamera ke SoC.

Penyiri dan penyahserialisasi FPD-Link atau V3-Link (SerDes), yang disokong dalam AM6x Linux SDK, ialah teknologi paling popular untuk penyelesaian pengagregatan CSI-2 jenis ini. Kedua-dua penyahserialisasi FPD-Link dan V3-Link mempunyai saluran belakang yang boleh digunakan untuk menghantar isyarat penyegerakan bingkai untuk menyegerakkan semua kamera, seperti yang dijelaskan dalam [7].
Rajah 2-2 menunjukkan bekasamppenggunaan SerDes untuk menyambungkan berbilang kamera kepada satu SoC AM6x.

Seorang bekasampPenyelesaian pengagregatan ini boleh didapati dalam Kit Penyelesaian Kamera Arducam V3Link. Kit ini mempunyai hab penyahserialisasi yang mengagregat 4 strim kamera CSI-2, serta 4 pasang penyeri V3link dan kamera IMX219, termasuk kabel sepaksi FAKRA dan kabel FPC 22-pin. Reka bentuk rujukan yang dibincangkan kemudian dibina pada kit ini.

Agregator CSI-2 tanpa Menggunakan SerDes
Agregator jenis ini boleh terus antara muka dengan berbilang kamera MIPI CSI-2 dan mengagregat data daripada semua kamera kepada satu aliran keluaran CSI-2.

Rajah 2-3 menunjukkan bekasample sistem sedemikian. Penyelesaian pengagregatan jenis ini tidak menggunakan sebarang penyeri/deserialisasi tetapi dihadkan oleh jarak maksimum pemindahan data CSI-2, iaitu sehingga 30cm. SDK Linux AM6x tidak menyokong pengagregat CSI-2 jenis ini

Mendayakan Berbilang Kamera dalam Perisian

Senibina Perisian Subsistem Kamera
Rajah 3-1 menunjukkan gambarajah blok peringkat tinggi perisian sistem tangkapan kamera dalam AM62A/AM62P Linux SDK, sepadan dengan sistem HW dalam Rajah 2-2.

Seni bina perisian ini membolehkan SoC menerima berbilang aliran kamera dengan penggunaan SerDes, seperti yang ditunjukkan dalam Rajah 2-2. FPD-Link/V3-Link SerDes memberikan alamat I2C yang unik dan saluran maya kepada setiap kamera. Tindanan pokok peranti yang unik harus dibuat dengan alamat I2C yang unik untuk setiap kamera. Pemacu CSI-2 RX mengenali setiap kamera menggunakan nombor saluran maya yang unik dan mencipta konteks DMA bagi setiap aliran kamera. Nod video dicipta untuk setiap konteks DMA. Data daripada setiap kamera kemudiannya diterima dan disimpan menggunakan DMA ke memori dengan sewajarnya. Aplikasi ruang pengguna menggunakan nod video yang sepadan dengan setiap kamera untuk mengakses data kamera. CthampPelajaran menggunakan seni bina perisian ini diberikan dalam Bab 4 – Reka Bentuk Rujukan.
Mana-mana pemacu penderia khusus yang mematuhi rangka kerja V4L2 boleh pasang dan mainkan dalam seni bina ini. Rujuk [8] mengenai cara menyepadukan pemacu sensor baharu ke dalam SDK Linux.

Senibina Perisian Saluran Paip Imej

SDK Linux AM6x menyediakan rangka kerja GStreamer (GST), yang boleh digunakan dalam ruang ser untuk menyepadukan komponen pemprosesan imej untuk pelbagai aplikasi. Pemecut Perkakasan (HWA) pada SoC, seperti Vision Pre-processing Accelerator (VPAC) atau ISP, pengekod/penyahkod video dan enjin pengiraan pembelajaran mendalam, diakses melalui GST plugins. VPAC (ISP) sendiri mempunyai berbilang blok, termasuk Sub-Sistem Pengimejan Visi (VISS), Pembetulan Herotan Lensa (LDC) dan Multiscalar (MSC), setiap satu sepadan dengan pemalam GST.

Rajah 3-2 menunjukkan gambarajah blok saluran paip imej biasa daripada kamera kepada pengekodan atau dalam
aplikasi pembelajaran pada AM62A. Untuk butiran lanjut tentang aliran data hujung ke hujung, rujuk dokumentasi EdgeAI SDK.

Untuk AM62P, saluran paip imej adalah lebih mudah kerana tiada ISP pada AM62P.

Dengan nod video yang dicipta untuk setiap kamera, saluran paip imej berasaskan GStreamer membolehkan pemprosesan berbilang input kamera (disambungkan melalui antara muka CSI-2 RX yang sama) secara serentak. Reka bentuk rujukan menggunakan GStreamer untuk aplikasi berbilang kamera diberikan dalam bab seterusnya.

Reka Bentuk Rujukan

Bab ini membentangkan reka bentuk rujukan menjalankan aplikasi berbilang kamera pada AM62A EVM, menggunakan Kit Penyelesaian Kamera Arducam V3Link untuk menyambungkan 4 kamera CSI-2 ke AM62A dan menjalankan pengesanan objek untuk kesemua 4 kamera.

Kamera yang Disokong
Kit Arducam V3Link berfungsi dengan kedua-dua kamera berasaskan FPD-Link/V3-Link dan kamera CSI-2 yang serasi Raspberry Pi. Kamera berikut telah diuji:

D3 Kejuruteraan D3RCM-IMX390-953
Pengimejan Leopard LI-OV2312-FPDLINKIII-110H

Kamera IMX219 dalam Kit Penyelesaian Kamera Arducam V3Link

Menyediakan Empat Kamera IMX219
Ikut arahan yang disediakan dalam Panduan Mula Pantas EVM Kit Permulaan AM62A untuk menyediakan Panduan Mula Pantas Penyelesaian Kamera SK-AM62A-LP EVM (AM62A SK) dan ArduCam V3Link untuk menyambungkan kamera ke AM62A SK melalui kit V3Link. Pastikan pin pada kabel fleksibel, kamera, papan V3Link dan AM62A SK semuanya dijajarkan dengan betul.

Rajah 4-1 menunjukkan persediaan yang digunakan untuk reka bentuk rujukan dalam laporan ini. Komponen utama dalam persediaan termasuk:

1X papan EVM SK-AM62A-LP
1X papan penyesuai d-ch Arducam V3Link
Kabel FPC menyambungkan Arducam V3Link ke SK-AM62A

Penyesuai kamera 4X V3Link (penyeri bersiri)
Kabel sepaksi 4X RF untuk menyambungkan penyeri bersiri V3Link ke kit d-ch V3Link
4X Kamera IMX219

Kabel 4X CSI-2 22-pin untuk menyambungkan kamera ke penyeri bersiri
Kabel: Kabel HDMI, USB-C untuk kuasa SK-AM62A-LP dan sumber kuasa 12V untuk kit d-ch V3Link)
Komponen lain yang tidak ditunjukkan dalam Rajah 4-1: kad mikro-SD, kabel mikro-USB untuk mengakses SK-AM62A-LP dan Ethernet untuk penstriman

Mengkonfigurasi Kamera dan Antara Muka CSI-2 RX
Sediakan perisian mengikut arahan yang disediakan dalam Panduan Mula Pantas Arducam V3Link. Selepas menjalankan skrip persediaan kamera, setup-imx219.sh, format kamera, format antara muka CSI-2 RX dan laluan dari setiap kamera ke nod video yang sepadan akan dikonfigurasikan dengan betul. Empat nod video dicipta untuk empat kamera IMX219. Perintah "v4l2-ctl –list-devices" memaparkan semua peranti video V4L2, seperti ditunjukkan di bawah:

Terdapat 6 nod video dan 1 nod media di bawah tiscsi2rx. Setiap nod video sepadan dengan konteks DMA yang diperuntukkan oleh pemacu CSI2 RX. Daripada 6 nod video, 4 digunakan untuk 4 kamera IMX219, seperti yang ditunjukkan dalam topologi paip media di bawah:

Seperti yang ditunjukkan di atas, entiti media 30102000.ticsi2rx mempunyai 6 pad sumber, tetapi hanya 4 yang pertama digunakan, setiap satu untuk satu IMX219. Topologi paip media juga boleh digambarkan secara grafik. Jalankan arahan berikut untuk menjana titik file:

Kemudian jalankan arahan di bawah pada PC hos Linux untuk menjana PNG file:

Rajah 4-2 ialah gambar yang dihasilkan menggunakan arahan yang diberikan di atas. Komponen dalam seni bina perisian Rajah 3-1 boleh didapati dalam graf ini.

Menstrim daripada Empat Kamera
Dengan kedua-dua perkakasan dan perisian disediakan dengan betul, aplikasi berbilang kamera boleh dijalankan dari ruang pengguna. Untuk AM62A, ISP mesti ditala untuk menghasilkan kualiti imej yang baik. Rujuk Panduan Penalaan ISP AM6xA untuk cara melakukan penalaan ISP. Bahagian berikut membentangkan exampkurang menstrim data kamera ke paparan, menstrim data kamera ke rangkaian dan menyimpan data kamera ke files.

Menstrim Data Kamera untuk Dipaparkan
Aplikasi asas sistem berbilang kamera ini adalah untuk menstrim video daripada semua kamera ke paparan yang disambungkan kepada SoC yang sama. Berikut ialah saluran paip GStreamer exampdaripada menstrim empat IMX219 ke paparan (nombor nod video dan nombor v4l-subdev dalam saluran paip mungkin akan berubah daripada but semula kepada but semula).

Menstrim Data Kamera melalui Ethernet
Daripada menstrim ke paparan yang disambungkan ke SoC yang sama, data kamera juga boleh distrim melalui Ethernet. Bahagian penerima boleh sama ada pemproses AM62A/AM62P atau PC hos. Berikut adalah bekasampcara menstrim data kamera melalui Ethernet (menggunakan dua kamera untuk kesederhanaan) (perhatikan pemalam pengekod yang digunakan dalam saluran paip):

Berikut adalah bekasampcara menerima data kamera dan menstrim ke paparan pada pemproses AM62A/AM62P yang lain:

Menyimpan Data Kamera ke Files
Daripada menstrim ke paparan atau melalui rangkaian, data kamera boleh disimpan dalam tempatan files. Saluran paip di bawah menyimpan data setiap kamera ke a file (menggunakan dua kamera sebagai bekasample untuk kesederhanaan).

Inferens Pembelajaran Dalam Multikamera

AM62A dilengkapi dengan pemecut pembelajaran mendalam (C7x-MMA) dengan sehingga dua TOPS, yang mampu menjalankan pelbagai jenis model pembelajaran mendalam untuk pengelasan, pengesanan objek, segmentasi semantik dan banyak lagi. Bahagian ini menunjukkan cara AM62A boleh menjalankan empat model pembelajaran mendalam secara serentak pada empat suapan kamera yang berbeza.

Pemilihan Model
EdgeAI-ModelZoo TI menyediakan beratus-ratus model terkini, yang ditukar/dieksport daripada rangka kerja latihan asalnya kepada format mesra terbenam supaya ia boleh dimuatkan ke pemecut pembelajaran mendalam C7x-MMA. Penganalisis Model Edge AI Studio berasaskan awan menyediakan alat "Pemilihan Model" yang mudah digunakan. Ia dikemas kini secara dinamik untuk memasukkan semua model yang disokong dalam TI EdgeAI-ModelZoo. Alat ini tidak memerlukan pengalaman sebelumnya dan menyediakan antara muka yang mudah digunakan untuk memasukkan ciri yang diperlukan dalam model yang dikehendaki.

TFL-OD-2000-ssd-mobV1-coco-mlperf telah dipilih untuk eksperimen pembelajaran mendalam berbilang kamera ini. Model pengesanan berbilang objek ini dibangunkan dalam rangka kerja TensorFlow dengan resolusi input 300×300. Jadual 4-1 menunjukkan ciri penting model ini apabila dilatih pada set data cCOCO dengan kira-kira 80 kelas berbeza.

Jadual 4-1. Serlahkan Ciri Model TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model	Tugasan	Resolusi	FPS	mAP 50% Ketepatan Pada COCO	Latensi/Bingkai (ms)	DDR BW Penggunaan (MB/ Bingkai)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Pengesanan Pelbagai Objek	300×300	~152	15.9	6.5	18.839

Persediaan Saluran Paip
Rajah 4-3 menunjukkan saluran paip GStreamer pembelajaran mendalam 4-kamera. TI menyediakan suite GStreamer plugins yang membenarkan pemunggahan beberapa pemprosesan media dan inferens pembelajaran mendalam kepada pemecut perkakasan. Beberapa bekasampkurang daripada ini plugins termasuk tiovxisp, tiovxmultiscaler, tiovxmosaic, dan tidlinferer. Saluran paip dalam Rajah 4-3 merangkumi semua yang diperlukan plugins untuk saluran paip GStreamer berbilang laluan untuk input 4-kamera, setiap satu dengan praproses media, inferens pembelajaran mendalam dan pascaproses. Pendua plugins untuk setiap laluan kamera disusun dalam graf untuk demonstrasi yang lebih mudah.
Sumber perkakasan yang tersedia diagihkan sama rata di antara empat laluan kamera. Sebagai contoh, AM62A mengandungi dua penskala imej: MSC0 dan MSC1. Saluran paip secara eksplisit mendedikasikan MSC0 untuk memproses laluan kamera 1 dan kamera 2, manakala MSC1 didedikasikan untuk kamera 3 dan kamera 4.

Output empat saluran paip kamera dikecilkan dan digabungkan bersama menggunakan pemalam tiovxmosaic. Output dipaparkan pada satu skrin. Rajah 4-4 menunjukkan output empat kamera dengan model pembelajaran mendalam yang menjalankan pengesanan objek. Setiap saluran paip (kamera) berjalan pada 30 FPS dan sejumlah 120 FPS.

Seterusnya ialah skrip saluran paip penuh untuk kes penggunaan pembelajaran mendalam berbilang kamera yang ditunjukkan dalam Rajah 4-3.

Analisis Prestasi

Persediaan dengan empat kamera menggunakan papan V3Link dan AM62A SK telah diuji dalam pelbagai senario aplikasi, termasuk paparan terus pada skrin, penstriman melalui Ethernet (empat saluran UDP), rakaman ke 4 berasingan files, dan dengan inferens pembelajaran mendalam. Dalam setiap percubaan, kami memantau kadar bingkai dan penggunaan teras CPU untuk meneroka keupayaan keseluruhan sistem.

Seperti yang ditunjukkan sebelum ini dalam Rajah 4-4, saluran paip pembelajaran mendalam menggunakan pemalam tiperfoverlay GStreamer untuk menunjukkan beban teras CPU sebagai graf bar di bahagian bawah skrin. Secara lalai, graf dikemas kini setiap dua saat untuk menunjukkan beban sebagai peratusan penggunaantage. Sebagai tambahan kepada pemalam tiperfoverlay GStreamer, alat perf_stats ialah pilihan kedua untuk menunjukkan prestasi teras terus pada terminal dengan pilihan untuk menyimpan ke file. Alat ini lebih tepat berbanding dengan tTiperfoverlayas yang terakhir menambah beban tambahan pada teras ARMm dan DDR untuk melukis graf dan menindihnya pada skrin. Alat perf_stats digunakan terutamanya untuk mengumpul keputusan penggunaan perkakasan dalam semua kes ujian yang ditunjukkan dalam dokumen ini. Beberapa teras pemprosesan dan pemecut penting yang dikaji dalam ujian ini termasuk pemproses utama (empat teras A53 Arm @ 1.25GHz), pemecut pembelajaran mendalam (C7x-MMA @ 850MHz), VPAC (ISP) dengan VISS dan multiscaler (MSC0 dan MSC1), dan operasi DDR.

Jadual 5-1 menunjukkan prestasi dan penggunaan sumber apabila menggunakan AM62A dengan empat kamera untuk tiga kes penggunaan, termasuk menstrim empat kamera ke paparan, menstrim melalui Ethernet dan merakam ke empat berasingan files. Dua ujian dilaksanakan dalam setiap kes penggunaan: dengan kamera sahaja dan dengan inferens pembelajaran mendalam. Di samping itu, baris pertama dalam Jadual 5-1 menunjukkan penggunaan perkakasan apabila hanya sistem pengendalian dijalankan pada AM62A tanpa sebarang aplikasi pengguna. Ini digunakan sebagai garis dasar untuk dibandingkan semasa menilai penggunaan perkakasan bagi kes ujian yang lain. Seperti yang ditunjukkan dalam jadual, empat kamera dengan pembelajaran mendalam dan paparan skrin beroperasi pada 30 FPS setiap satu, dengan jumlah 120 FPS untuk empat kamera. Kadar bingkai tinggi ini dicapai dengan hanya 86% daripada kapasiti penuh pemecut pembelajaran mendalam (C7x-MMA). Di samping itu, adalah penting untuk ambil perhatian bahawa pemecut pembelajaran mendalam telah mencatatkan masa pada 850MHz dan bukannya 1000MHz dalam eksperimen ini, iaitu kira-kira hanya 85% daripada prestasi maksimumnya.

Jadual 5-1. Prestasi (FPS) dan Penggunaan Sumber AM62A apabila digunakan dengan 4 Kamera IMX219 untuk Paparan Skrin, Strim Ethernet, Rakam ke Files, dan Melakukan Inferens Pembelajaran Mendalam

Aplikasi n	Saluran paip (operasi )	Keluaran	FPS saluran paip purata s	FPS jumlah	MPU A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Jumlah [MB/s]
Tiada Apl	Garis Dasar Tiada operasi	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamera sahaja	Strim ke Skrin	Skrin	30	120	12	12	0	70	61	60	1015	757	1782
	Strim melalui Ethernet	UDP: 4 port 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Rekod kepada files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam dengan pembelajaran mendalam	Pembelajaran mendalam: Pengesanan objek MobV1- coco	Skrin	30	120	38	25	86	71	85	82	2926	1676	4602
	Pembelajaran mendalam: Pengesanan objek MobV1- coco dan Stream over Ethernet	UDP: 4 port 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Pembelajaran mendalam: Pengesanan objek MobV1- coco dan rekod ke files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Ringkasan
Laporan aplikasi ini menerangkan cara melaksanakan aplikasi berbilang kamera pada keluarga peranti AM6x. Reka bentuk rujukan berdasarkan Kit Penyelesaian Kamera V3Link Arducam dan AM62A SK EVM disediakan dalam laporan, dengan beberapa aplikasi kamera menggunakan empat kamera IMX219, seperti penstriman dan pengesanan objek. Pengguna digalakkan untuk memperoleh Kit Penyelesaian Kamera V3Link daripada Arducam dan meniru bekas iniamples. Laporan itu juga menyediakan analisis terperinci prestasi AM62A semasa menggunakan empat kamera di bawah pelbagai konfigurasi, termasuk memaparkan ke skrin, menstrim melalui Ethernet, dan merakam ke files. Ia juga menunjukkan keupayaan AM62A untuk melakukan inferens pembelajaran mendalam pada empat aliran kamera berasingan secara selari. Jika terdapat sebarang soalan tentang menjalankan bekas iniamples, serahkan pertanyaan di forum TI E2E.

Rujukan

Panduan Mula Pantas EVM Kit Permulaan AM62A

Panduan Mula Pantas Penyelesaian Kamera ArduCam V3Link
Dokumentasi Edge AI SDK untuk AM62A
Kamera Pintar Edge AI Menggunakan Pemproses AM62A yang Cekap Tenaga

Sistem Cermin Kamera pada AM62A
Sistem Pemantauan Pemandu dan Pendudukan pada AM62A
Aplikasi Kamera Quad Channel untuk Surround View dan Sistem Kamera CMS

AM62Ax Linux Academy pada Mendayakan Penderia CIS-2
Edge AI ModelZoo
Studio AI Edge

Alat Perf_stats

Bahagian TI Dirujuk dalam Nota Aplikasi Ini:

https://www.ti.com/product/AM62A7

NOTIS PENTING DAN PENAFIAN

TI MENYEDIAKAN DATA TEKNIKAL DAN KEBOLEHPERCAYAAN (TERMASUK HELAIAN DATA), SUMBER REKA BENTUK (TERMASUK REKA BENTUK RUJUKAN), APLIKASI ATAU NASIHAT REKA BENTUK LAIN, WEB ALAT, MAKLUMAT KESELAMATAN DAN SUMBER LAIN "SEBAGAIMANA ADANYA" DAN DENGAN SEMUA KESALAHAN, SERTA MENAFIKAN SEMUA WARANTI, TERNYATA DAN TERSIRAT, TERMASUK TANPA HAD SEBARANG WARANTI TERSIRAT KEBOLEHPERDAGANGAN, KESESUAIAN UNTUK PRODUK SECARA SECARA TERTENTU .

Sumber ini bertujuan untuk pembangun mahir mereka bentuk dengan produk TI. Anda bertanggungjawab sepenuhnya

memilih produk TI yang sesuai untuk aplikasi anda,

mereka bentuk, mengesahkan dan menguji aplikasi anda, dan
memastikan permohonan anda memenuhi piawaian yang berkenaan, dan sebarang keperluan keselamatan, keselamatan, peraturan atau keperluan lain yang lain.

Sumber ini tertakluk kepada perubahan tanpa notis. TI membenarkan anda menggunakan sumber ini hanya untuk pembangunan aplikasi yang menggunakan produk TI yang diterangkan dalam sumber tersebut. Pengeluaran semula dan paparan lain sumber ini adalah dilarang. Tiada lesen diberikan kepada mana-mana hak harta intelek TI yang lain atau kepada mana-mana hak harta intelek pihak ketiga. TI menafikan tanggungjawab untuk, dan anda akan menanggung rugi sepenuhnya TI dan wakilnya terhadap, sebarang tuntutan, kerosakan, kos, kerugian dan liabiliti yang timbul daripada penggunaan sumber ini oleh anda.

Produk TI disediakan tertakluk kepada Syarat Jualan TI atau syarat lain yang berkenaan yang tersedia sama ada pada ti.com atau disediakan bersama dengan produk TI tersebut. Peruntukan TI untuk sumber ini tidak mengembangkan atau sebaliknya mengubah waranti atau penafian waranti TI yang berkenaan untuk produk TI.

TI membantah dan menolak sebarang terma tambahan atau berbeza yang mungkin anda cadangkan.

NOTIS PENTING

Alamat Mel: Texas Instruments, Peti Pejabat Pos 655303, Dallas, Texas 75265

Soalan Lazim

S: Bolehkah saya menggunakan sebarang jenis kamera dengan keluarga peranti AM6x?

Keluarga AM6x menyokong jenis kamera yang berbeza, termasuk yang mempunyai atau tanpa ISP terbina dalam. Rujuk spesifikasi untuk butiran lanjut tentang jenis kamera yang disokong.

: Apakah perbezaan utama antara AM62A dan AM62P dalam pemprosesan imej?

Variasi utama termasuk jenis kamera yang disokong, data output kamera, kehadiran ISP HWA, Deep Learning HWA dan 3-D Graphics HWA. Rujuk bahagian spesifikasi untuk perbandingan terperinci.

Dokumen / Sumber

Texas Instruments AM6x Membangunkan Berbilang Kamera [pdf] Panduan Pengguna
AM62A, AM62P, AM6x Membangunkan Berbilang Kamera, AM6x, Membangunkan Berbilang Kamera, Berbilang Kamera, Kamera

Rujukan

Manual Pengguna

Texas Instruments AM6x Membangunkan Berbilang Kamera

Spesifikasi