Texas Instruments AM6x Mamolavola fakantsary marobe

fepetra arahana

• Anaran'ny vokatra: AM6x fianakaviana fitaovana
• Karazana fakantsary tohanana: AM62A (miaraka na tsy misy ISP naorina), AM62P (miaraka amin'ny ISP voaorina)
• Fakan-tsary Output Data: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• ISP HWA: AM62A (Eny), AM62P (Tsia)
• Fianarana lalina HWA: AM62A (Eny), AM62P (Tsia)
• Sary 3-D HWA: AM62A (Tsia), AM62P (Eny)

Fampidirana amin'ny fampiharana fakan-tsary marobe amin'ny AM6x:

• Manana anjara toerana lehibe amin'ny rafi-pahitana maoderina ny fakantsary mipetaka.
• Ny fampiasana fakan-tsary maromaro ao anaty rafitra iray dia manatsara ny fahaiza-manao ary manome fahafahana ireo asa tsy azo tanterahina amin'ny fakantsary tokana.

Fampiharana mampiasa fakantsary marobe:

• Fanaraha-maso fiarovana: Manatsara ny fandrakofana fanaraha-maso, ny fanaraha-maso ny zavatra, ary ny fahamarinan'ny fanekena.
• Nanodidina View: Mamela ny fahitana stereo ho an'ny asa toy ny fisavana sakana sy fanodinkodinana zavatra.
• Cabin Recorder sy Camera Mirror System: Manome fandrakofana maharitra ary manala ny faritra jamba.
• Fitsaboana ara-pitsaboana: Manolotra tsaratsara kokoa amin'ny fitetezana fandidiana sy endoskopika.
• Drones sy sary an-habakabaka: Makà sary avo lenta avy amin'ny zoro samihafa ho an'ny fampiharana isan-karazany.

Mampifandray fakan-tsary CSI-2 marobe amin'ny SoC:
Raha te hampifandray fakan-tsary CSI-2 maro amin'ny SoC, araho ny torolalana omena ao amin'ny boky torolalana. Hamarino tsara ny fampifanarahana sy ny fampifandraisana ny fakantsary tsirairay amin'ireo seranana voatondro ao amin'ny SoC.

Fanamarihana fampiharana
Mamolavola fampiharana fakan-tsary marobe amin'ny AM6x

Jianzhong Xu, Qutaiba Saleh

Abstract
Ity tatitra ity dia mamaritra ny fivoaran'ny fampiharana mampiasa fakantsary CSI-2 marobe amin'ny fianakaviamben'ny fitaovana AM6x. Ny famolavolana fanondro amin'ny fitadiavana zavatra miaraka amin'ny fianarana lalina amin'ny fakantsary 4 amin'ny AM62A SoC dia aseho amin'ny famakafakana ny fahombiazany. Ny fitsipika ankapobeny amin'ny famolavolana dia mihatra amin'ny SoC hafa miaraka amin'ny interface CSI-2, toy ny AM62x sy AM62P.

Sava lalana

Manana anjara toerana lehibe amin'ny rafi-pahitana maoderina ny fakantsary mipetaka. Ny fampiasana fakantsary maro ao anaty rafitra iray dia manitatra ny fahaizan'ireo rafitra ireo ary manome fahafahana izay tsy azo atao amin'ny fakantsary tokana. Ireto ambany ireto ny sasany exampvitsivitsy amin'ny fampiharana mampiasa fakan-tsary mipetaka maromaro:

• Fanaraha-maso fiarovana: Ny fakantsary marobe napetraka stratejika dia manome fandrakofana fanaraha-maso feno. Izy ireo dia afaka panoramic views, mampihena ny faritra jamba, ary manatsara ny fahamarinan'ny fanaraha-maso sy ny fahafantarana zavatra, manatsara ny fepetra fiarovana amin'ny ankapobeny.
• Nanodidina View: Fakan-tsary maro no ampiasaina hamoronana fanamafisam-peo stereo, ahafahan'ny fampahalalana amin'ny lafiny telo sy ny fanombanana ny halaliny. Tena ilaina izany amin'ny asa toy ny fisavana sakana amin'ny fiara tsy miankina, fanodinkodinana zavatra marina amin'ny robotika, ary fanatsarana ny zava-misy marina amin'ny zava-misy.
• Cabin Recorder sy Camera Mirror System: Afaka manome fandrakofana bebe kokoa amin'ny alàlan'ny processeur tokana ny firaketana kabine fiara misy fakantsary marobe. Toy izany koa, ny rafitra fitaratra fakan-tsary misy fakantsary roa na maromaro dia afaka manitatra ny sahan'ny mpamily view ary esory ny jamba amin'ny lafiny rehetra amin'ny fiara.
• Fitsaboana ara-pitsaboana: Ny fakan-tsary marobe dia azo ampiasaina amin'ny fanaovana sary ara-pitsaboana ho an'ny asa toy ny fitetezana fandidiana, manome fomba fijery maro ho an'ny mpandidy mba hanatsara ny fahamendrehana. Amin'ny endoskopika, fakan-tsary maro dia ahafahana mandinika tsara ny taova anatiny.
• Drones sy sary avy amin'ny rivotra: Matetika ny drones dia manana fakan-tsary marobe mba haka sary na horonan-tsary avo lenta amin'ny lafiny samihafa. Ity dia ilaina amin'ny fampiharana toy ny sary an-habakabaka, ny fanaraha-maso ny fambolena ary ny fandrefesana tany.
• Miaraka amin'ny fandrosoan'ny microprocessors dia azo ampidirina ao anaty System-on-Chip tokana ny fakantsary maro.
  (SoC) mba hanomezana vahaolana mirindra sy mahomby. Ny AM62Ax SoC, miaraka amin'ny fanodinana horonan-tsarimihetsika / fahitana avo lenta sy ny fanafainganana ny fianarana lalina, dia fitaovana tsara indrindra ho an'ireo tranga fampiasana voalaza etsy ambony. Fitaovana AM6x iray hafa, ny AM62P, dia natsangana ho an'ny fampiharana fampisehoana 3D misy fampisehoana avo lenta. Miaraka amin'ny fanafainganana sary 3D, ny AM62P dia afaka manambatra mora foana ny sary avy amin'ny fakantsary marobe ary mamokatra panoramika avo lenta. view. Ny endri-javatra manavao ny AM62A/AM62P SoC dia naseho tamin'ny boky isan-karazany, toy ny [4], [5], [6], sns. Ity fanamarihana fampiharana ity dia tsy hamerina ireo famaritana endri-javatra ireo fa hifantoka amin'ny fampidirana fakantsary CSI-2 marobe amin'ny fampiharana fahitana mipetaka amin'ny AM62A/AM62P.
• Ny tabilao 1-1 dia mampiseho ny fahasamihafana lehibe eo amin'ny AM62A sy AM62P raha ny momba ny fanodinana sary.

Tabilao 1-1. Ny fahasamihafana eo amin'ny AM62A sy AM62P amin'ny fanodinana sary

SoC	AM62A	AM62P
Karazana fakantsary tohanana	Miaraka na tsy misy ISP naorina	Miaraka amin'ny ISP voaorina
Fakan-tsary Output Data	Raw/YUV/RGB	YUV/RGB
ISP HWA	ENY	tsy misy
Fianarana lalina HWA	ENY	tsy misy
3-D Graphics HWA	tsy misy	ENY

Mampifandray fakan-tsary CSI-2 marobe amin'ny SoC
Ny Subsystem Camera ao amin'ny AM6x SoC dia ahitana ireto singa manaraka ireto, araka ny aseho amin'ny sary 2-1:

• MIPI D-PHY Receiver: mandray horonan-tsary avy amin'ny fakan-tsary ivelany, manohana hatramin'ny 1.5 Gbps isaky ny zotra data ho an'ny lalana 4.
• CSI-2 Receiver (RX): mandray horonan-tsary avy amin'ny mpandray D-PHY ary na alefa mivantana any amin'ny ISP ny angon-drakitra na manary ny angona ao amin'ny fitadidiana DDR. Ity module ity dia manohana fantsona virtoaly 16.
• SHIM: fonosana DMA izay ahafahana mandefa ireo renirano voasambotra ho fahatsiarovana amin'ny DMA. Ny tontolon'ny DMA marobe dia azo noforonina amin'ity fonosana ity, miaraka amin'ny contexte tsirairay mifandraika amin'ny fantsona virtoaly an'ny CSI-2 Receiver.

Fakan-tsary marobe dia azo tohanana amin'ny AM6x amin'ny alàlan'ny fampiasana fantsona virtoaly CSI-2 RX, na dia tsy misy afa-tsy CSI-2 RX interface tsara ao amin'ny SoC. Ilaina ny singa fanangonam-bokatra CSI-2 ivelany mba hanambatra ireo stream fakantsary marobe ary handefa azy ireo amin'ny SoC tokana. Misy karazany roa ny vahaolana aggregate CSI-2 azo ampiasaina, voalaza ao amin'ny fizarana manaraka.

CSI-2 Aggregator mampiasa SerDes
Ny fomba iray hanambatra ireo stream fakantsary maro dia ny fampiasana vahaolana serializing sy deserializing (SerDes). Ny angona CSI-2 avy amin'ny fakantsary tsirairay dia ovain'ny serializer ary afindra amin'ny alalan'ny tariby. Ny deserializer dia mandray ny angona serialised rehetra nafindra avy amin'ny tariby (cable iray isaky ny fakantsary), mamadika ny stream ho CSI-2 data, ary avy eo dia mandefa ny interleaved CSI-2 stream amin'ny CSI-2 RX interface tsara eo amin'ny SoC. Ny stream fakantsary tsirairay dia fantatra amin'ny alalan'ny fantsona virtoaly tokana. Ity vahaolana mitambatra ity dia manome tombony fanampiny amin'ny famelana ny fifandraisana lavitr'ezaka hatramin'ny 15m avy amin'ny fakantsary mankany amin'ny SoC.

Ny FPD-Link na V3-Link serializers sy deserializers (SerDes), tohana amin'ny AM6x Linux SDK, no teknolojia malaza indrindra amin'ity karazana CSI-2 aggregate solution ity. Na ny FPD-Link sy ny V3-Link deserializers dia manana fantsona miverina izay azo ampiasaina handefasana famantarana fampifanarahana frame mba hampifanaraka ny fakantsary rehetra, araka ny hazavaina ao amin'ny [7].
Ny sary 2-2 dia mampiseho exampNy fampiasana ny SerDes hampifandraisana fakantsary maromaro amin'ny SoC AM6x tokana.

ExampIty vahaolana mitambatra ity dia hita ao amin'ny Arducam V3Link Camera Solution Kit. Ity kitapo ity dia manana habaka deserializer izay mitambatra 4 CSI-2 fakan-tsary stream, ary koa 4 mpivady ny V3link serializers sy IMX219 fakan-tsary, anisan'izany FAKRA coaxial tariby sy 22-pin FPC tariby. Ny famolavolana reference noresahina taty aoriana dia namboarina tamin'ity kitapo ity.

CSI-2 Aggregator tsy mampiasa SerDes
Ity karazana aggregator ity dia afaka mifandray mivantana amin'ny fakan-tsary MIPI CSI-2 marobe ary manambatra ny angona avy amin'ny fakantsary rehetra mankany amin'ny stream output CSI-2 tokana.

Ny sary 2-3 dia mampiseho example ny rafitra toy izany. Ity karazana vahaolana aggregate ity dia tsy mampiasa serializer/deserializer fa voafetra amin'ny halaviran-davitra faratampony amin'ny famindrana data CSI-2, izay mahatratra 30cm. Ny AM6x Linux SDK dia tsy mahazaka ity karazana CSI-2 aggregator ity

Fampandehanana fakantsary marobe amin'ny rindrambaiko

Camera Subsystem Software Architecture
Ny sary 3-1 dia mampiseho kisary sakana avo lenta amin'ny rindrambaiko rafitra fakan-tsary ao amin'ny AM62A/AM62P Linux SDK, mifanaraka amin'ny rafitra HW ao amin'ny sary 2-2.

• Ity rafitra rindrambaiko ity dia ahafahan'ny SoC mahazo stream fakantsary marobe amin'ny fampiasana SerDes, araka ny aseho amin'ny sary 2-2. Ny FPD-Link/V3-Link SerDes dia manome adiresy I2C tokana sy fantsona virtoaly ho an'ny fakantsary tsirairay. Tokony hatsangana miaraka amin'ny adiresy I2C tokana ho an'ny fakantsary tsirairay ny overlay hazo fitaovana tokana. Ny mpamily CSI-2 RX dia mahafantatra ny fakantsary tsirairay amin'ny fampiasana ny laharan'ny fantsona virtoaly tokana ary mamorona contexte DMA isaky ny stream fakantsary. Node video dia noforonina ho an'ny contexte DMA tsirairay. Ny angona avy amin'ny fakantsary tsirairay dia raisina sy voatahiry amin'ny fampiasana DMA ho an'ny fitadidiana mifanaraka amin'izany. Ny fampiharana habaka mpampiasa dia mampiasa ny node video mifanaraka amin'ny fakantsary tsirairay mba hidirana amin'ny angona fakantsary. EkampNy fampiasana an'io maritrano rindrambaiko io dia omena ao amin'ny Toko 4 - Famolavolana Reference.
• Izay mpamily sensor manokana izay mifanaraka amin'ny rafitra V4L2 dia afaka mampifandray sy milalao amin'ity maritrano ity. Jereo ny [8] momba ny fomba fampidirana mpamily sensor vaovao amin'ny Linux SDK.

Image Pipeline Software Architecture

• Ny AM6x Linux SDK dia manome ny rafitra GStreamer (GST), izay azo ampiasaina amin'ny habaka ser mba hampidirana ireo singa fanodinana sary ho an'ny fampiharana isan-karazany. Ny Hardware Accelerators (HWA) ao amin'ny SoC, toy ny Vision Pre-processing Accelerator (VPAC) na ISP, vidéo encoder/decoder, ary motera compute fianarana lalina, dia idirana amin'ny GST. plugins. Ny VPAC (ISP) mihitsy dia manana sakana maro, ao anatin'izany ny Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), ary Multiscalar (MSC), izay samy mifanaraka amin'ny plugin GST.
• Ny sary 3-2 dia mampiseho ny kisary sakana amin'ny fantsona sary mahazatra avy amin'ny fakantsary mankany amin'ny famandrihana na lalina
  Fampiharana fianarana amin'ny AM62A. Raha mila antsipiriany bebe kokoa momba ny fikorianan'ny angona amin'ny farany dia jereo ny antontan-taratasy EdgeAI SDK.

Ho an'ny AM62P dia tsotra kokoa ny fantsona sary satria tsy misy ISP amin'ny AM62P.

Miaraka amin'ny node video noforonina ho an'ny fakan-tsary tsirairay, ny fantsona sary mifototra amin'ny GStreamer dia mamela ny fanodinana ny fampidirana fakantsary marobe (mifandray amin'ny interface CSI-2 RX mitovy) miaraka. Ny endrika fanondro mampiasa GStreamer ho an'ny fampiharana fakan-tsary maro dia omena ao amin'ny toko manaraka.

Reference Design

Ity toko ity dia manolotra endrika fanondro amin'ny fampandehanana fampiharana fakan-tsary marobe amin'ny AM62A EVM, amin'ny fampiasana ny Arducam V3Link Camera Solution Kit mba hampifandraisana fakan-tsary CSI-4 2 amin'ny AM62A sy hizaha zavatra ho an'ny fakantsary 4 rehetra.

Cameras tohanana
Ny kitapo Arducam V3Link dia miasa miaraka amin'ny fakan-tsary mifototra amin'ny FPD-Link/V3-Link sy ny fakan-tsary CSI-2 mifanaraka amin'ny Raspberry Pi. Ireto fakan-tsary manaraka ireto dia notsapaina:

• D3 Engineering D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• Fakan-tsary IMX219 ao amin'ny Arducam V3Link Camera Solution Kit

Fametrahana fakan-tsary IMX219 efatra
Araho ny toromarika omena ao amin'ny AM62A Starter Kit EVM Quick Start Guide mba hananganana ny SK-AM62A-LP EVM (AM62A SK) sy ArduCam V3Link Camera Solution Quick Start Guide hampifandraisana ny fakan-tsary amin'ny AM62A SK amin'ny alalan'ny kitapo V3Link. Ataovy azo antoka fa mirindra tsara daholo ny tsimatra amin'ny tariby flex, fakantsary, board V3Link, ary AM62A SK.

Ny sary 4-1 dia mampiseho ny fanamboarana ampiasaina amin'ny famolavolana reference amin'ity tatitra ity. Ny singa fototra ao amin'ny setup dia ahitana:

• Takelaka data SK-AM1A-LP EVM
• 1X Arducam V3Link d-ch adaptatera board
• Cable FPC mampifandray Arducam V3Link amin'ny SK-AM62A
• 4X V3Link fakan-tsary adaptatera (sérializers)
• 4X RF coaxial tariby hampifandray ny V3Link serializers amin'ny V3Link d-ch kit
• Fakan-tsary 4X IMX219
• 4X CSI-2 22-pin tariby hampifandray fakan-tsary amin'ny serializers
• Cable: tariby HDMI, USB-C ho an'ny SK-AM62A-LP ary hery 12V azo avy amin'ny kitapo V3Link d-ch)
• Singa hafa tsy aseho amin'ny sary 4-1: karatra micro-SD, tariby micro-USB hidirana amin'ny SK-AM62A-LP, ary Ethernet ho an'ny streaming

Fametrahana fakan-tsary sy CSI-2 RX Interface
Amboary ny rindrambaiko araka ny torolalana omena ao amin'ny Arducam V3Link Quick Start Guide. Aorian'ny fampandehanana ny script setup fakan-tsary, setup-imx219.sh, ny endrik'ilay fakan-tsary, ny endrika interface tsara CSI-2 RX, ary ny lalana avy amin'ny fakantsary tsirairay mankany amin'ny node video mifanaraka amin'izany dia hamboarina araka ny tokony ho izy. Node video efatra no noforonina ho an'ireo fakantsary efatra IMX219. Ny baiko "v4l2-ctl -list-devices" dia mampiseho ny fitaovana video V4L2 rehetra, araka ny aseho eto ambany:

Misy node video 6 ary node media 1 eo ambanin'ny tiscsi2rx. Ny node video tsirairay dia mifanandrify amin'ny contexte DMA atolotry ny mpamily CSI2 RX. Amin'ireo node video 6, dia 4 no ampiasaina amin'ny fakan-tsary 4 IMX219, araka ny aseho amin'ny topologie fantsona media eto ambany:

Araka ny aseho etsy ambony, ny media entity 30102000.ticsi2rx dia manana loharano 6, fa ny 4 voalohany ihany no ampiasaina, isaky ny IMX219 iray. Ny topology fantsona media dia azo aseho amin'ny sary ihany koa. Alefaso ity baiko manaraka ity mba hamoronana teboka file:

Avy eo, araho ny baiko etsy ambany amin'ny PC mpampiantrano Linux hamorona PNG file:

Ny sary 4-2 dia sary novokarina tamin'ny alalan'ny baiko nomena etsy ambony. Ireo singa ao amin'ny rafitra rindrambaiko amin'ny sary 3-1 dia azo jerena ato amin'ity grafika ity.

Streaming avy amin'ny fakan-tsary efatra
Miaraka amin'ny fitaovana sy lozisialy apetraka araka ny tokony ho izy, ny fampiharana fakan-tsary marobe dia afaka mandeha amin'ny habaka mpampiasa. Ho an'ny AM62A, ny ISP dia tsy maintsy amboarina mba hamokarana sary tsara. Jereo ny AM6xA ISP Tuning Guide momba ny fomba fanatanterahana ny ISP Tuning. Ireto fizarana manaraka ireto dia aseho exampny fandefasana angon-drakitra fakan-tsary mankany amin'ny seho, fandefasana angon-drakitra fakan-tsary mankany amin'ny tambajotra iray, ary fitehirizana ny angona fakan-tsary mankany files.

Mandefa angona fakan-tsary haseho
Ny fampiharana fototra amin'ity rafitra fakan-tsary marobe ity dia ny fandefasana ireo horonan-tsary avy amin'ny fakantsary rehetra mankany amin'ny fampisehoana mifandray amin'ny SoC mitovy. Ity manaraka ity dia fantsona GStreamer exampNy fandefasana IMX219 efatra mankany amin'ny fampisehoana (ny laharan'ny node video sy ny isa v4l-subdev ao amin'ny fantsona dia mety hiova avy amin'ny reboot ho reboot).

Mandefa Data Camera amin'ny alàlan'ny Ethernet
Raha tokony hivezivezy amin'ny fampisehoana mifandray amin'ny SoC mitovy, ny angon-drakitra fakan-tsary dia azo alefa amin'ny alàlan'ny Ethernet ihany koa. Ny lafiny fandraisana dia mety ho processeur AM62A/AM62P hafa na PC mpampiantrano. Ity manaraka ity dia exampNy fandefasana ny angon-drakitra fakantsary amin'ny alàlan'ny Ethernet (mampiasa fakantsary roa ho an'ny fahatsorana) (mariho ny plugin encoder ampiasaina amin'ny fantsona):

Ity manaraka ity dia exampny fandraisana ny angon-drakitra fakan-tsary sy ny fandefasana amin'ny fampisehoana amin'ny processeur AM62A/AM62P hafa:

Mitahiry angona fakan-tsary amin'ny Files
Raha tokony hivezivezy amin'ny fampiratiana na amin'ny alalan'ny tambajotra, ny angona fakan-tsary dia azo tehirizina ao an-toerana files. Ny fantsona etsy ambany dia mitahiry ny angon'ny fakantsary tsirairay ho a file (mampiasa fakantsary roa ho example ho fahatsorana).

Multicamera Deep Learning Inference

AM62A dia manana accelerator fianarana lalina (C7x-MMA) miaraka amin'ny TOPS roa, izay afaka mampandeha karazana modely fianarana lalina isan-karazany ho an'ny fanasokajiana, fitadiavana zavatra, fizarana semantika, sy ny maro hafa. Ity fizarana ity dia mampiseho ny fomba ahafahan'ny AM62A mampandeha modely fianarana lalina efatra amin'ny fakan-tsary efatra samihafa.

Fifantenana modely
Ny EdgeAI-ModelZoo an'ny TI dia manome maodely manara-penitra an-jatony, izay ovaina/ondrana avy amin'ny rafitra fanofanana tany am-boalohany ho amin'ny endrika sariaka natambatra mba hahafahan'izy ireo alefa any amin'ny accelerator fianarana lalina C7x-MMA. Ny Edge AI Studio Model Analyzer miorina amin'ny rahona dia manome fitaovana mora ampiasaina "Safidy Modely". Havaozina amin'ny fomba mavitrika izany mba hampidirana ireo modely rehetra tohana ao amin'ny TI EdgeAI-ModelZoo. Ny fitaovana dia tsy mitaky traikefa teo aloha ary manome interface mora ampiasaina hampidirana ireo endri-javatra ilaina amin'ny modely tadiavina.

Ny TFL-OD-2000-ssd-mobV1-coco-mlperf dia nofantenana ho an'ity fanandramana fianarana lalina fakan-tsary marobe ity. Ity maodely fitadiavana zavatra marobe ity dia novolavolaina tao amin'ny rafitra TensorFlow miaraka amin'ny famahana ny fampidirana 300 × 300. Ny tabilao 4-1 dia mampiseho ireo endri-javatra manan-danja amin'ity maodely ity rehefa nampiofanina momba ny angon-drakitra cCOCO misy kilasy 80 eo ho eo.

Tabilao 4-1. Asongadino ny endrik'ilay modely TFL-OD-2000-ssd-mobV1-coco-mlperf.

MODELY	ASA	vahaolana	FPS	mAP 50% Accuracy amin'ny COCO	Latency/Frame (ms)	DDR BW Fampiasana (MB/ Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Multi Object Detection	300×300	~152	15.9	6.5	18.839

Fametrahana fantsona
Ny sary 4-3 dia mampiseho ny fantsona GStreamer fianarana lalina fakan-tsary 4. TI dia manome andiana GStreamer plugins izay mamela ny famoahana ny sasany amin'ny fanodinana media sy ny fianarana lalina amin'ny accelerators hardware. Ny sasany examples ireto plugins misy tiovxisp, tiovxmultiscaler, tiovxmosaic, ary tidlinferer. Ny fantsona ao amin'ny sary 4-3 dia ahitana ny zavatra ilaina rehetra plugins ho an'ny fantsona GStreamer multipath ho an'ny fampidirana fakan-tsary 4, samy manana preprocess media, inference fianarana lalina, ary postprocess. Ny duplicated plugins ho an'ny lalan'ny fakan-tsary tsirairay dia apetraka ao amin'ny grafika mba ho mora kokoa ny fampisehoana.
Ny loharanom-pitaovana misy dia zaraina mitovy amin'ireo lalan'ny fakantsary efatra. Ohatra, ny AM62A dia misy sary maromaro maromaro: MSC0 sy MSC1. Ny fantsona dia nanokana mazava ny MSC0 mba hikarakarana ny lalan'ny fakan-tsary 1 sy fakan-tsary 2, fa ny MSC1 kosa dia natokana ho an'ny fakantsary 3 sy fakantsary 4.

Ny fivoahan'ny fantsona fakan-tsary efatra dia ahena ary atambatra miaraka amin'ny fampiasana ny plugin tiovxmosaic. Ny vokatra dia aseho amin'ny efijery tokana. Ny sary 4-4 dia mampiseho ny vokatra azo avy amin'ireo fakan-tsary efatra miaraka amin'ny maodely fianarana lalina mitantana zavatra. Ny fantsona tsirairay (fakan-tsary) dia mandeha amin'ny 30 FPS ary 120 FPS ny fitambarany.

Manaraka izany ny script pipeline feno ho an'ny tranga fampiasana fianarana lalindalina marobe aseho amin'ny sary 4-3.

Famakafakana ny zava-bita

Ny setup miaraka amin'ny fakantsary efatra mampiasa ny V3Link board sy ny AM62A SK dia nosedraina tamin'ny sehatra fampiharana isan-karazany, ao anatin'izany ny fampisehoana mivantana amin'ny efijery, mivantana amin'ny Ethernet (fantsona UDP efatra), firaketana amin'ny 4 misaraka. files, ary miaraka amin'ny fianarana lalina. Isaky ny andrana, dia nanara-maso ny tahan'ny frame sy ny fampiasana ny cores CPU izahay mba hijerena ny fahaizan'ny rafitra manontolo.

Araka ny aseho teo aloha ao amin'ny sary 4-4, ny fantsona fianarana lalina dia mampiasa ny plugin tiperfoverlay GStreamer mba hampisehoana ny enta-mavesatra CPU ho toy ny kisary bar eo amin'ny farany ambany amin'ny efijery. Amin'ny alàlan'ny default, havaozina isaky ny roa segondra ny kisary mba hampisehoana ny entana ho isan-jaton'ny fampiasanatage. Ho fanampin'ny plugin tiperfoverlay GStreamer, ny fitaovana perf_stats dia safidy faharoa hanehoana mivantana ny zava-bita fototra eo amin'ny terminal miaraka amin'ny safidy hitehirizana amin'ny file. Ity fitaovana ity dia marina kokoa raha oharina amin'ny tTiperfoverlayas, ity farany dia manampy enta-mavesatra fanampiny amin'ny cores ARMm sy ny DDR mba hanintonana ny grafika sy hametahana azy eo amin'ny efijery. Ny fitaovana perf_stats dia ampiasaina indrindra hanangonana ny valin'ny fampiasana fitaovana amin'ny tranga fitsapana rehetra aseho ato amin'ity antontan-taratasy ity. Ny sasany amin'ireo cores sy accelerators fanodinana manan-danja nodinihina tamin'ireo fitsapana ireo dia ahitana ny processeur lehibe (core A53 Arm efatra @ 1.25GHz), ny accelerator fianarana lalina (C7x-MMA @ 850MHz), ny VPAC (ISP) miaraka amin'ny VISS sy multiscalers (MSC0 sy MSC1), ary ny fiasan'ny DDR.

Ny tabilao 5-1 dia mampiseho ny zava-bita sy ny fampiasana loharano rehefa mampiasa AM62A miaraka amin'ny fakan-tsary efatra ho an'ny tranga fampiasana telo, ao anatin'izany ny fandefasana fakantsary efatra amin'ny fampiratiana, fandefasana amin'ny Ethernet ary firaketana amin'ny efatra misaraka. files. Fitsapana roa no ampiharina isaky ny tranga fampiasana: miaraka amin'ny fakantsary ihany ary miaraka amin'ny fianarana lalina. Fanampin'izany, ny laharana voalohany amin'ny tabilao 5-1 dia mampiseho ny fampiasana fitaovana raha ny rafitra fandidiana ihany no mandeha amin'ny AM62A tsy misy fampiharana mpampiasa. Ampiasaina ho toy ny tsipika fototra hampitahana amin'ny fanombanana ny fampiasana fitaovana amin'ireo tranga fitsapana hafa. Araka ny hita eo amin'ny latabatra, ireo fakantsary efatra misy fianarana lalina sy fampisehoana efijery dia miasa amin'ny 30 FPS tsirairay avy, miaraka amin'ny totalin'ny 120 FPS ho an'ireo fakantsary efatra. Ity tahan'ny rafitra avo ity dia tratra amin'ny 86% amin'ny fahafaha-manao feno amin'ny accelerator fianarana lalina (C7x-MMA). Ho fanampin'izay, zava-dehibe ny manamarika fa ny accelerator fianarana lalina dia voatonona amin'ny 850MHz fa tsy 1000MHz amin'ireo andrana ireo, izay eo amin'ny 85% amin'ny zava-bitany ambony indrindra.

Tabilao 5-1. Fampisehoana (FPS) sy Fampiasana loharanon-karena AM62A rehefa ampiasaina amin'ny fakan-tsary 4 IMX219 ho an'ny fampisehoana efijery, Ethernet Stream, firaketana an-tsoratra Files, ary manao famintinana fianarana lalina

Application n	Pipeline (operation )	Output	FPS avg pipeline s	FPS sokajy	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Total [MB/s]
Tsy misy App	Baseline Tsy misy fandidiana	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Camera ihany	Stream mankany amin'ny Screen	Ecran	30	120	12	12	0	70	61	60	1015	757	1782
	Stream over Ethernet	UDP: 4 seranana 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Record ny files	4 files 1920 × 1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam miaraka amin'ny fianarana lalina	Fianarana lalina: Fitadiavana zavatra MobV1- coco	Ecran	30	120	38	25	86	71	85	82	2926	1676	4602
	Fianarana lalina: Fitadiavana zavatra MobV1- coco sy Stream over Ethernet	UDP: 4 seranana 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Fianarana lalina: Fitadiavana zavatra MobV1- coco ary firaketana amin'ny files	4 files 1920 × 1080	28	112	87	22	98	75	82	61	2024	2458	6482

FAMINTINANA
Ity tatitra momba ny fampiharana ity dia mamaritra ny fomba fampiharana fampiharana fakan-tsary marobe amin'ny fianakavian'ny fitaovana AM6x. Ny famolavolana reference mifototra amin'ny Arducam's V3Link Camera Solution Kit sy AM62A SK EVM dia omena ao amin'ny tatitra, miaraka amin'ny fampiharana fakantsary maromaro mampiasa fakan-tsary IMX219 efatra, toy ny streaming sy ny fitadiavana zavatra. Entanina ny mpampiasa mba haka ny V3Link Camera Solution Kit avy amin'ny Arducam ary hamerina indray ireo examples. Ny tatitra ihany koa dia manome famakafakana amin'ny antsipiriany momba ny zava-bitan'ny AM62A raha mampiasa fakantsary efatra eo ambanin'ny fanamafisana isan-karazany, ao anatin'izany ny fampisehoana amin'ny efijery, ny fandefasana amin'ny Ethernet ary ny firaketana an-tsoratra files. Izy io koa dia mampiseho ny fahaiza-manaon'ny AM62A'sA amin'ny fanaovana inference fianarana lalina amin'ny renirano fakantsary efatra misaraka mifanitsy. Raha misy fanontaniana momba ny fampandehanana ireo examples, mametraka fanontaniana ao amin'ny forum TI E2E.

References

1. AM62A Starter Kit EVM Torolàlana fanombohana haingana
2. ArduCam V3Link Camera Solution Quick Start Guide
3. Edge AI SDK antontan-taratasy ho an'ny AM62A
4. Fakan-tsary Smart Edge AI Mampiasa Processor AM62A mahomby
5. Camera Mirror Systems amin'ny AM62A
6. Rafitra fanaraha-maso ny mpamily sy ny fibodoana amin'ny AM62A
7. Fampiharana fakan-tsary Quad Channel ho an'ny manodidina View ary CMS Camera Systems
8. AM62Ax Linux Academy amin'ny fampandehanana ny CIS-2 Sensor
9. Edge AI ModelZoo
10. Edge AI Studio
11. Fitaovana Perf_stats

Ny ampahany TI voalaza ao amin'ity Fanamarihana fampiharana ity:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

FANAMARIHANA SY FANDANIANA

TI dia manome data ara-teknika sy azo ianteherana (anisan'izany ny DATA SHEET), ny loharanon-karena (anisan'izany ny DESIGN REFERENCE), ny fampiharana na ny toro-hevitra momba ny famolavolana hafa, WEB FITAOVANA, Fampahafantarana momba ny fiarovana, ary loharano hafa "Toy ny misy" SY miaraka amin'ny lesoka rehetra, ARY mandà ny fiantohana rehetra, na mazava na voatanisa, ao anatin'izany ny tsy ferana ny fiantohana ara-barotra, ny fahamendrehana ho an'ny tanjona iray manokana. ZON'NY FANANANA INTSONY.

Ireo loharano ireo dia natao ho an'ny mpamorona mahay mamolavola miaraka amin'ny vokatra TI. Ianao irery no tompon'andraikitra amin'izany

1. mifidy ny vokatra TI mety amin'ny fampiharanao,
2. famolavolana, fanamarinana ary fitsapana ny fampiharana anao, ary
3. manome antoka fa mahafeno ny fenitra mifanaraka amin'izany ny fampiharanao, sy izay fepetra hafa momba ny fiarovana, ny fiarovana, ny fitsipika, na ny fepetra hafa.

Ireo loharano ireo dia azo ovaina tsy misy fampandrenesana. Ny TI dia mamela anao hampiasa ireo loharano ireo ho an'ny fampivoarana fampiharana izay mampiasa ny vokatra TI voalaza ao amin'ny loharano. Voarara ny famokarana sy fampisehoana ireo loharanon-karena hafa. Tsy misy fahazoan-dàlana omena ny zon'ny fananana ara-tsaina TI hafa na ny zon'ny fananana ara-tsaina an'ny antoko fahatelo. Ny TI dia mandà ny andraikiny amin'ny, ary ianao dia hanome onitra tanteraka ny TI sy ny solontenany amin'ny fitakiana, fahavoazana, fandaniana, fatiantoka, ary trosa ateraky ny fampiasanao ireo loharano ireo.

Ny vokatra avy amin'ny TI dia omena mifanaraka amin'ny fepetran'ny varotra TI na fepetra hafa azo ampiasaina na amin'ny ti.com na omena miaraka amin'ny vokatra TI toy izany. Ny fanomezan'ny TI an'ireo loharanon-karena ireo dia tsy manitatra na manova ny fiantohana azo ampiharina na ny fandavana ny fiantohana ho an'ny vokatra TI.

Ny TI dia manohitra ary mandà izay teny fanampiny na hafa mety narosonao.

FILAZANA MANDRITRA

• Adiresy mailaka: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
• Copyright © 2024, Texas Instruments Incorporated

Fanontaniana matetika

F: Afaka mampiasa karazana fakan-tsary miaraka amin'ny fianakaviamben'ny fitaovana AM6x ve aho?

Ny fianakaviana AM6x dia manohana karazana fakantsary isan-karazany, ao anatin'izany ireo manana na tsy misy ISP naorina. Jereo ny famaritana raha mila antsipiriany bebe kokoa momba ny karazana fakantsary tohana.

: Inona no maha samy hafa ny AM62A sy AM62P amin'ny fanodinana sary?

Ny fiovaovana lehibe dia ahitana karazana fakantsary tohanana, angona famoahana fakantsary, fisian'ny ISP HWA, Deep Learning HWA, ary 3-D Graphics HWA. Jereo ny fizarana manokana ho an'ny fampitahana amin'ny antsipiriany.

 

Documents / Loharano

Texas Instruments AM6x Mamolavola fakantsary marobe [pdf] Torolàlana ho an'ny mpampiasa AM62A, AM62P, AM6x Famolavolana fakan-tsary marobe, AM6x, Famoronana fakan-tsary marobe, fakantsary marobe, fakantsary

References

• User Manual