Teksas Instruments -logo

Texas Instruments AM6x Gelek Kamerayan Pêş dixe

Texas-Instruments-AM6x-Pêşvebirina-berhema-pir-kamerayan

Specifications

  • Navê Berhemê: Malbata cîhazên AM6x
  • Cureyê Kamerayê ya Piştgirîkirî: AM62A (Bi ISP-ya çêkirî an bê), AM62P (Bi ISP-ya Çêkirî)
  • Daneyên Derketina Kamerayê: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
  • ISP HWA: AM62A (Erê), AM62P (Na)
  • HWA ya Fêrbûna Kûr: AM62A (Erê), AM62P (Na)
  • Grafîkên 3-D HWA: AM62A (Na), AM62P (Erê)

Danasîna Serlêdanên Pir-Kamerayî li ser AM6x:

  • Kamerayên çêkirî di sîstemên dîtinê yên nûjen de roleke girîng dilîzin.
  • Bikarhanîna gelek kamerayan di sîstemekê de şiyanan zêde dike û karên ku bi kamerayek tenê nayên bidestxistin çalak dike.

Serlêdanên ku Gelek Kamerayan Bi Kar Tînin:

  • Çavdêriya Ewlekariyê: Berfirehiya çavdêriyê, şopandina tiştan, û rastbûna naskirinê zêde dike.
  • Dorgirtî View: Ji bo peywirên wekî tesbîtkirina astengiyan û manîpulekirina tiştan dîtina stereo çalak dike.
  • Sîstema Tomarkerê Kabînê û Neynika Kabîneyê: Vegirtinek dirêj peyda dike û xêzên kor ji holê radike.
  • Wênekirina Tibbî: Di navîgasyona neştergerî û endoskopiyê de rastbûnek zêdekirî pêşkêş dike.
  • Dron û Wêneyên Hewayî: Ji bo sepanên cûda, wêneyên bi çareseriya bilind ji goşeyên cûda bigirin.

Girêdana Gelek Kamerayên CSI-2 bi SoC re:
Ji bo girêdana gelek kamerayên CSI-2 bi SoC-ê re, rêbernameyên ku di rêbernameya bikarhêner de hatine dayîn bişopînin. Piştrast bikin ku her kamerayek bi portên diyarkirî yên li ser SoC-ê ve bi rêkûpêk tê girêdan û hevrêzkirin.

Têbînî Serlêdan
Pêşxistina Serlêdanên Pir-Kamerayî li ser AM6x

Jianzhong Xu, Qutaiba Saleh

VEQETÎ
Ev rapor pêşveçûna sepanê bi karanîna gelek kamerayên CSI-2 li ser malbata cîhazên AM6x vedibêje. Sêwiranek referansê ya tespîtkirina tiştan bi fêrbûna kûr li ser 4 kamerayan li ser SoC-ya AM62A bi analîza performansê tê pêşkêş kirin. Prensîbên giştî yên sêwiranê ji bo SoC-yên din ên bi navbeynkariya CSI-2, wekî AM62x û AM62P, derbas dibin.

Pêşkêş

Kamerayên çandî di sîstemên dîtinê yên nûjen de roleke girîng dilîzin. Bikaranîna gelek kamerayan di sîstemekê de şiyanên van sîsteman berfireh dike û şiyanên ku bi yek kamerayekê ne mimkun in çalak dike. Li jêr çend mînak hene.ampKêmtir ji sepanan bi karanîna gelek kamerayên çandî:

  • Çavdêriya Ewlehiyê: Gelek kamerayên ku bi awayekî stratejîk hatine danîn, çavdêriya berfireh peyda dikin. Ew panoramîk çêdikin. views, xalên kor kêm bikin, û rastbûna şopandin û naskirina tiştan zêde bikin, bi vî awayî tedbîrên ewlehiyê yên giştî baştir bikin.
  • Dorgirtî ViewGelek kamera ji bo afirandina sazkirina dîtina stereo têne bikar anîn, ku agahdariya sê-alî û texmîna kûrahiyê gengaz dike. Ev ji bo karên wekî tespîtkirina astengiyan di wesayîtên xweser de, manîpulekirina rastîn a tiştan di robotîkê de, û realîzma pêşkeftî ya ezmûnên rastiya zêdekirî pir girîng e.
  • Sîstema Tomarkerê Kabînê û Neynika Kamerayê: Tomarkerê kabîna otomobîlê bi gelek kamerayan dikare bi karanîna yek prosesorê ve bêtir vegirtinê peyda bike. Bi heman awayî, sîstema neynika kamerayê bi du an bêtir kamerayan dikare qada ajokar berfireh bike. view û xalên kor ji hemû aliyên otomobîlê ji holê rakin.
  • Wênekirina Tibbî: Di wênekirina tibbî de ji bo karên wekî navîgasyona cerrahî gelek kamera dikarin werin bikar anîn, û ji bo rastbûna zêdetir perspektîfên piralî ji cerrahan re peyda dikin. Di endoskopiyê de, gelek kamera rê didin ku lêkolînek berfireh a organên navxweyî were kirin.
  • Dron û Wêneyên Hewayî: Dron bi gelemperî bi gelek kamerayan têne stendin da ku wêne an vîdyoyên bi çareseriya bilind ji goşeyên cûda bigirin. Ev di sepanên wekî wênegirtina hewayî, çavdêriya çandiniyê û pîvandina erdê de kêrhatî ye.
  • Bi pêşketina mîkroprosesoran re, gelek kamera dikarin di yek Sîstem-li-Çîpê de werin entegrekirin.
    (SoC) ji bo peyda kirina çareseriyên kompakt û bibandor. AM62Ax SoC, bi pêvajoya vîdyo/dîtinê ya performansa bilind û lezandina fêrbûna kûr, amûrek îdeal e ji bo rewşên karanîna ku li jor hatine behs kirin. Amûrek din a AM6x, AM62P, ji bo sepanên pêşandana 3D ya çêkirî ya performansa bilind hatiye çêkirin. Bi lezandina grafîkên 3D ve hatî çêkirin, AM62P dikare bi hêsanî wêneyên ji gelek kamerayan bi hev re bicivîne û panoramîkek bi çareseriya bilind çêbike. viewTaybetmendiyên nûjen ên SoC-ya AM62A/AM62P di gelek weşanan de hatine pêşkêş kirin, wek [4], [5], [6], û hwd. Ev nota serîlêdanê dê wan ravekirinên taybetmendiyan dubare neke, lê di şûna wê de li ser entegrekirina gelek kamerayên CSI-2 di nav sepanên dîtinê yên çêkirî de li ser AM62A/AM62P disekine.
  • Tabloya 1-1 cudahiyên sereke yên di navbera AM62A û AM62P de di warê pêvajoya wêneyê de nîşan dide.

Tabloya 1-1. Cûdahiyên di navbera AM62A û AM62P de di Pêvajoya Wêneyan de

SoC AM62A AM62P
Cureyê Kamerayê ya Piştgirîkirî Bi an bê ISP-ya çêkirî Bi ISP-ya Çêkirî
Daneyên Derketina Kamerayê Xav/YUV/RGB YUV/RGB
ISP HWA Erê Na
HWA ya Fêrbûna Kûr Erê Na
Grafîkên 3-D HWA Na Erê

Girêdana Gelek Kamerayên CSI-2 bi SoC re
Jêrsîstema Kamerayê li ser AM6x SoC pêkhateyên jêrîn dihewîne, wekî ku di Şekil 2-1 de tê xuyang kirin:

  • Wergirê MIPI D-PHY: herikîna vîdyoyê ji kamerayên derveyî werdigire, ji bo 1.5 rêzan heta 4 Gbps ji bo her rêza daneyê piştgirî dike.
  • Wergirê CSI-2 (RX): herikîna vîdyoyê ji wergirê D-PHY werdigire û herikînan rasterast dişîne ISP-ê an jî daneyan dişîne bîra DDR-ê. Ev modul heta 16 kanalên virtual piştgirî dike.
  • SHIM: pêçek DMA ye ku rê dide şandina herikên girtî bo bîrê bi rêya DMA. Gelek çarçoveyên DMA dikarin ji hêla vê pêçekê ve werin afirandin, ku her çarçoveyek bi kanalek virtual a Wergirê CSI-2 re têkildar e.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (2)

Bi karanîna kanalên virtual ên CSI-6 RX, gelek kamera dikarin li ser AM2x werin piştgirî kirin, her çend tenê yek navrûya CSI-2 RX li ser SoC hebe jî. Ji bo ku gelek herikên kamerayan werin berhevkirin û wan ji yek SoC re werin şandin, pêkhateyek berhevkirina CSI-2 ya derveyî hewce ye. Du celeb çareseriyên berhevkirina CSI-2 dikarin werin bikar anîn, ku di beşên jêrîn de têne vegotin.

Komkerê CSI-2 Bi Bikaranîna SerDes
Yek ji rêbazên hevgirtina gelek herikên kamerayan bikaranîna çareseriyeke rêzkirin û bêrêzkirin (SerDes) e. Daneyên CSI-2 yên ji her kamerayekê ji hêla rêzkirinek ve têne veguherandin û bi kabloyekê têne veguheztin. Deserîkirin hemî daneyên rêzkirin ên ji kabloyan veguheztî werdigire (yek kablo ji bo her kamerayekê), herikan vediguherîne daneyên CSI-2, û dûv re herikek CSI-2 ya navberkirî dişîne navrûya yekane ya CSI-2 RX li ser SoC. Her herikek kamerayê ji hêla kanalek virtual a bêhempa ve tê nas kirin. Ev çareseriya berhevkirinê feydeyek zêde pêşkêşî dike ku destûrê dide girêdana dûr û dirêj heya 15 m ji kamerayan heya SoC.

Serîalîzer û deserîalîzerên FPD-Link an V3-Link (SerDes), ku di SDK-ya AM6x Linux de têne piştgirî kirin, teknolojiyên herî populer in ji bo vê celebê çareseriya berhevkirina CSI-2. Hem deserîalîzerên FPD-Link û hem jî V3-Link kanalên paşîn hene ku dikarin ji bo şandina sînyalên senkronîzekirina çarçoveyê werin bikar anîn da ku hemî kamerayan senkronîze bikin, wekî ku di [7] de hatî rave kirin.
Xiflteya 2-2 nîşan dideamprêbaza karanîna SerDes ji bo girêdana gelek kamerayan bi yek AM6x SoC ve.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (3)

An exampHinekî ji vê çareseriya berhevkirinê di Arducam V3Link Camera Solution Kit de tê dîtin. Ev kît xwedî navendeke deserialîzator e ku 4 herikên kamerayên CSI-2, û her weha 4 cot rêziatorên V3link û kamerayên IMX219, di nav de kabloyên koaksiyal ên FAKRA û kabloyên FPC yên 22-pin, berhev dike. Sêwirana referansê ya ku paşê tê nîqaş kirin li ser vê kîtê hatiye çêkirin.

Agregatorê CSI-2 bêyî Bikaranîna SerDes
Ev cureyê agregator dikare rasterast bi gelek kamerayên MIPI CSI-2 re têkilî dayne û daneyên ji hemî kamerayan li ser herikek derana CSI-2 ya yekane kom bike.

Xiflteya 2-3 nîşan dideample ya pergalek wisa. Ev celeb çareseriya komkirinê tu rêzimanî/desreyalîzator bikar nayîne lê bi dûrahiya herî zêde ya veguhastina daneyên CSI-2 ve sînorkirî ye, ku heta 30 cm ye. SDK-ya Linux-ê ya AM6x vê celebê komimanî ya CSI-2 piştgirî nake.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (4)

Çalakkirina Pirjimara Kamerayan di Nermalavê de

Mîmariya Nermalava Jêrsîstema Kamerayê
Wêne 3-1 dîyagrama blokek asta bilind a nermalava pergala kişandina kamerayê di AM62A/AM62P Linux SDK de nîşan dide, ku bi pergala HW ya di Wêne 2-2 de re têkildar e.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (5)

  • Ev mîmariya nermalavê dihêle ku SoC bi karanîna SerDes gelek herikên kamerayan werbigire, wekî ku di Wêne 2-2 de tê xuyang kirin. SerDes-a FPD-Link/V3-Link navnîşanek I2C û kanalek virtual a bêhempa ji her kamerayê re vediqetîne. Divê ji bo her kamerayê pêvekek dara cîhazê ya bêhempa bi navnîşana I2C ya bêhempa were afirandin. Ajokara CSI-2 RX her kamerayê bi karanîna jimareya kanala virtual a bêhempa nas dike û ji bo her herikîna kamerayê çarçoveyek DMA diafirîne. Ji bo her çarçoveyek DMA girêkek vîdyoyê tê afirandin. Dûv re daneyên ji her kamerayê bi karanîna DMA-yê li gorî wê li bîrê têne wergirtin û hilanîn. Serlêdanên cîhê bikarhêner girêkên vîdyoyê yên ku bi her kamerayê re têkildar in bikar tînin da ku bigihîjin daneyên kamerayê. MînakampAgahiyên li ser bikaranîna vê mîmariya nermalavê di Beşa 4 - Sêwirana Referansê de têne dayîn.
  • Her ajokarek sensorê ya taybetî ku bi çarçoveya V4L2 re lihevhatî ye dikare vê mîmariyê têxe û bixebite. Li [8] binêre ka meriv çawa ajokarek sensorê ya nû di SDK-ya Linux-ê de entegre dike.

Mîmariya Nermalava Pipeline ya Wêneyan

  • SDKya Linuxê ya AM6x çarçoveya GStreamer (GST) peyda dike, ku dikare di qada ser de were bikar anîn da ku pêkhateyên pêvajoya wêneyê ji bo serîlêdanên cûrbecûr entegre bike. Lezkerên Hardware (HWA) li ser SoC, wekî Lezkera Pêş-pêvajoyê ya Vîzyonê (VPAC) an ISP, kodker/dekoderê vîdyoyê, û motora hesabkirina fêrbûna kûr, bi rêya GST-ê têne gihîştin. pluginsVPAC (ISP) bi xwe gelek blok hene, di nav wan de Sîstema Wênekirina Dîtinê (VISS), Rastkirina Çewtbûna Lens (LDC), û Multiscalar (MSC), ku her yek bi pêvekek GST re têkildar e.
  • Wêne 3-2 diyagrama blok a boriyeke wêneyê ya tîpîk ji kamerayê ber bi kodkirin an kûr ve nîşan dide.
    sepanên fêrbûnê li ser AM62A. Ji bo bêtir agahdarî li ser herikîna daneya serî-bi-serî, li belgeyên EdgeAI SDK binêrin.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (6)

Ji bo AM62P, boriya wêneyê hêsantir e ji ber ku ISP li ser AM62P tune.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (7)

Bi girêkek vîdyoyê ya ku ji bo her kamerayekê hatî çêkirin, boriya wêneyê ya li ser bingeha GStreamer dihêle ku gelek têketinên kamerayê (ku bi heman navrûya CSI-2 RX ve girêdayî ne) di heman demê de werin hilberandin. Di beşa pêş de sêwirana referansê bi karanîna GStreamer ji bo sepanên pir-kamerayî tê dayîn.

Reference Design

Ev beş sêwirana referansê ya xebitandina sepanên pir-kamerayî li ser AM62A EVM pêşkêş dike, bi karanîna Arducam V3Link Camera Solution Kit ji bo girêdana 4 kamerayên CSI-2 bi AM62A û xebitandina tespîtkirina tiştan ji bo her 4 kamerayan.

Kamerayên piştgirî kirin
Kîta Arducam V3Link hem bi kamerayên li ser bingeha FPD-Link/V3-Link û hem jî bi kamerayên CSI-2 yên lihevhatî yên Raspberry Pi re dixebite. Kamerayên jêrîn hatine ceribandin:

  • Endezyariya D3 D3RCM-IMX390-953
  • Wênekirina Leopard LI-OV2312-FPDLINKIII-110H
  • Kamerayên IMX219 di Kîta Çareseriya Kamera Arducam V3Link de

Sazkirina Çar Kamerayên IMX219
Ji bo sazkirina Rêbernameya Destpêkirina Bilez a Çareseriya Kamera ArduCam V62Link û SK-AM62A SK bi rêya kîta V62Link ve girêdin, rêwerzên ku di Rêbernameya Destpêkirina Bilez a Kîta Destpêkirina AM3A EVM de hatine dayîn bişopînin. Piştrast bikin ku pinên li ser kabloyên nerm, kamerayan, karta V62Link, û AM3A SK hemî bi rêkûpêk hatine hevrêz kirin.

Wêne 4-1 sazkirina ku ji bo sêwirana referansê di vê raporê de hatiye bikar anîn nîşan dide. Pêkhateyên sereke yên di sazkirinê de ev in:

  • 1X SK-AM62A-LP EVM board
  • Karta adaptora d-ch ya 1X Arducam V3Link
  • Kabloya FPC ya ku Arducam V3Link bi SK-AM62A ve girêdide
  • Adaptorên kamerayê yên 4X V3Link (serîalîzer)
  • Kabloyên koaksiyal ên RF 4X ji bo girêdana rêzefîlmên V3Link bi kîta d-ch ya V3Link ve
  • 4X Kamerayên IMX219
  • Kabloyên 4X CSI-2 22-pin ji bo girêdana kamerayan bi rêziykeran re
  • Kabloyên: Kabloya HDMI, USB-C ji bo hêzkirina SK-AM62A-LP û hêza 12V ji bo kîta V3Link d-ch)
  • Pêkhateyên din ên ku di Şekil 4-1 de nehatine nîşandan: karta mîkro-SD, kabloya mîkro-USB ji bo gihîştina SK-AM62A-LP, û Ethernet ji bo weşana zindî.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (8)

Mîhengkirina Kamerayan û Navrûya CSI-2 RX
Nermalavê li gorî rêwerzên ku di Rêbernameya Destpêkirina Bilez a Arducam V3Link de hatine dayîn saz bikin. Piştî xebitandina skrîptê sazkirina kamerayê, setup-imx219.sh, formata kamerayê, formata navrûya CSI-2 RX, û rêyên ji her kamerayê ber bi girêka vîdyoyê ya têkildar ve dê bi rêkûpêk werin mîheng kirin. Çar girêkên vîdyoyê ji bo çar kamerayên IMX219 têne çêkirin. Fermana "v4l2-ctl –list-devices" hemî cîhazên vîdyoyê yên V4L2 nîşan dide, wekî ku li jêr tê xuyang kirin:

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (9)

Di bin tiscsi6rx de 1 girêkên vîdyoyê û 2 girêka medyayê hene. Her girêka vîdyoyê bi çarçoveyek DMA-yê re têkildar e ku ji hêla ajokera CSI2 RX ve hatî veqetandin. Ji 6 girêkên vîdyoyê, 4 ji bo 4 kamerayên IMX219 têne bikar anîn, wekî ku di topolojiya lûleya medyayê ya li jêr de tê xuyang kirin:

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (10)

Wekî ku li jor tê xuyang kirin, entîteya medyayê 30102000.ticsi2rx xwedî 6 padên çavkaniyê ye, lê tenê 4 yên pêşîn têne bikar anîn, her yek ji bo yek IMX219. Topolojiya lûleya medyayê jî dikare bi grafîkî were nîşandan. Fermana jêrîn bimeşînin da ku xalek çêbikin file:

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (11)

Dûv re fermana jêrîn li ser PC-ya mêvandar a Linux-ê bicîh bînin da ku PNG-yek çêbikin file:Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (12)

Wêne 4-2 wêneyek e ku bi karanîna fermanên jorîn hatiye çêkirin. Pêkhateyên di mîmariya nermalavê ya Wêne 3-1 de di vê grafîkê de têne dîtin.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (13)

Weşana ji Çar Kamerayan
Bi sazkirina rast a hardware û nermalavê, sepanên pir-kamerayî dikarin ji qada bikarhêner bixebitin. Ji bo AM62A, divê ISP were mîheng kirin da ku kalîteya wêneyê baş hilberîne. Ji bo ka meriv çawa mîhengkirina ISP pêk tîne, li Rêbernameya Mîhengkirina ISP ya AM6xA binêre. Beşên jêrîn mînakan pêşkêş dikin.ampherikîna kêm ji daneyên kamerayê bo dîmenderekê, herikîna daneyên kamerayê bo torekê, û hilanîna daneyên kamerayê bo files.

Weşana Daneyên Kamerayê bo Nîşandanê
Bikaranînek bingehîn a vê sîstema pir-kamerayî ew e ku vîdyoyan ji hemî kamerayan ber bi dîmenderek ve ku bi heman SoC ve girêdayî ye ve biherike. Ya jêrîn lûleyek GStreamer example ji weşana çar IMX219 bo dîmenderekê (hejmarên girêka vîdyoyê û hejmarên v4l-subdev ên di lûleyê de bi îhtîmaleke mezin dê ji ji nû ve destpêkirinê ber bi ji nû ve destpêkirinê ve biguherin).

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (14) Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (15)

Weşandina Daneyên Kamerayê bi rêya Ethernetê
Li şûna ku daneyên kamerayê ber bi dîmenderekê ve ku bi heman SoC ve girêdayî ye ve werin şandin, ew dikarin bi rêya Ethernetê jî werin şandin. Aliyê wergirtinê dikare pêvajoyek din a AM62A/AM62P an jî PC-yek mêvandar be. Ya jêrîn mînakek e.amprêbaza herikîna daneyên kamerayê bi rêya Ethernetê (ji bo hêsankirinê du kamerayan bikar tînin) (bala xwe bidin pêveka kodkerê ya ku di lûleyê de tê bikar anîn):

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (16)

Ya jêrîn berê yeampawayê wergirtina daneyên kamerayê û şandina wan bo dîmenderekê li ser pêvajoyek din a AM62A/AM62P:

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (17)

Tomarkirina Daneyên Kamerayê bo Files
Li şûna ku daneyên kamerayê ber bi dîmenderekê an jî bi rêya torê ve werin şandin, ew dikarin li herêmî werin hilanîn. files. Lûleya li jêr daneyên her kamerayekê li a tomar dike file (bi karanîna du kamerayan wekî berêampji bo sadehiyê).

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (18)Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (19)

Tesbîta Fêrbûna Kûr a Pirkamerayî

AM62A bi lezkerek fêrbûna kûr (C7x-MMA) ve hatîye sazkirin ku heta du TOPS hene, ku dikarin cûrbecûr modelên fêrbûna kûr ji bo dabeşkirin, tespîtkirina tiştan, dabeşkirina semantîk û hêj bêtir bimeşînin. Ev beş nîşan dide ka AM62A çawa dikare di heman demê de çar modelên fêrbûna kûr li ser çar xwarinên kamerayên cûda bimeşîne.

Hilbijartina Model
EdgeAI-ModelZoo ya TI bi sedan modelên herî pêşketî peyda dike, ku ji çarçoveyên perwerdehiya xwe yên orîjînal têne veguheztin/hinardekirin bo formateke ku ji bo bikarhêneran dostane ye, da ku ew bikaribin li lezkerê fêrbûna kûr a C7x-MMA werin barkirin. Analyzera Modelê ya Edge AI Studio ya li ser ewr amûrek "Hilbijartina Modelê" ya hêsan peyda dike. Ew bi dînamîkî tê nûvekirin da ku hemî modelên ku di TI EdgeAI-ModelZoo de têne piştgirî kirin tê de bigire. Amûr ne hewceyê ezmûnek berê ye û navgînek hêsan peyda dike da ku taybetmendiyên pêwîst di modela xwestî de têkevin.

TFL-OD-2000-ssd-mobV1-coco-mlperf ji bo vê ceribandina fêrbûna kûr a pir-kamerayî hate hilbijartin. Ev modela tespîtkirina pir-objeyan di çarçoveya TensorFlow de bi çareseriya têketinê ya 300×300 tê pêşve xistin. Tabloya 4-1 taybetmendiyên girîng ên vê modelê nîşan dide dema ku li ser daneyên cCOCO bi nêzîkî 80 çînên cûda tê perwerdekirin.

Tabloya 4-1. Taybetmendiyên sereke yên modela TFL-OD-2000-ssd-mobV1-coco-mlperf.

Cins Karî Resolution FPS mAP 50%

Rastbûna li ser COCO

Derengî/Çarçove (ms) DDR BW

Bikaranîn (MB/ Çarçove)

TFL-OD-2000-ssd-

mobV1-coco-mlperf

Tesbîtkirina Pir Tiştan 300×300 ~ 152 15.9 6.5 18.839

Sazkirina boriyê
Wêne 4-3 lûleya GStreamer a fêrbûna kûr a 4-kamerayî nîşan dide. TI komek ji GStreamer peyda dike. plugins ku dihêle ku hin ji pêvajoya medyayê û encamên fêrbûna kûr ji bo lezkerên hardware werin veqetandin. Hin mînakampji van plugins tiovxisp, tiovxmultiscaler, tiovxmosaic, û tidlinferer dihewîne. Lûleya di Şekil 4-3 de hemî pêdiviyên pêwîst dihewîne plugins ji bo lûleyeke GStreamer a piralî ji bo têketinên 4 kamerayan, her yek bi pêş-pêvajoya medyayê, encamnameya fêrbûna kûr, û pêvajoya paşîn. Dubarekirî plugins ji bo nîşandana hêsantir, rêyên her kamerayê di grafîkê de hatine rêzkirin.
Çavkaniyên alavên berdest bi awayekî wekhev di navbera çar rêyên kamerayê de têne belavkirin. Bo nimûne, AM62A du pîvanên piralî yên wêneyan dihewîne: MSC0 û MSC1. Ev lûle bi eşkere MSC0 ji bo pêvajoya rêyên kamera 1 û kamera 2 vediqetîne, di heman demê de MSC1 ji bo kamera 3 û kamera 4 veqetandî ye.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (21)

Derana çar boriyên kamerayan bi karanîna pêveka tiovxmosaic tê piçûkkirin û bi hev re tê girêdan. Deran li ser yek ekranê tê nîşandan. Wêne 4-4 derana çar kamerayan bi modelek fêrbûna kûr a ku tespîtkirina tiştan dimeşîne nîşan dide. Her boriyek (kamera) bi 30 FPS û bi tevahî 120 FPS dixebite.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (22)

Ya din skrîpta rêziknameya tevahî ji bo rewşa karanîna fêrbûna kûr a pirkamerayî ye ku di Şekil 4-3 de tê nîşandan.

Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (23) Texas-Instruments-AM6x-Pêşvebirina-Kamera-Çend-wêneyê- (24)

Analîza Performansê

Sazkirina bi çar kamerayan bi karanîna karta V3Link û AM62A SK di senaryoyên serîlêdanê yên cûrbecûr de hate ceribandin, di nav de nîşandana rasterast li ser ekranê, weşana zindî li ser Ethernet (çar kanalên UDP), tomarkirina li ser 4 kanalên cuda. files, û bi encamên fêrbûna kûr. Di her ceribandinê de, me rêjeya çarçoveyê û karanîna coreyên CPU-yê şopand da ku kapasîteyên tevahiya pergalê lêkolîn bikin.

Wekî ku berê di Şekil 4-4 de hatiye nîşandan, lûleya fêrbûna kûr pêveka tiperfoverlay GStreamer bikar tîne da ku barên bingehîn ên CPU-yê wekî grafîkek bar li binê ekranê nîşan bide. Bi xwerû, graf her du saniyeyan carekê tê nûvekirin da ku baran wekî rêjeya karanîna nîşan bide.tage. Ji bilî pêveka tiperfoverlay GStreamer, amûra perf_stats vebijarkek duyemîn e ku performansa bingehîn rasterast li ser termînalê nîşan dide û vebijarkek ji bo hilanînê li ser fileEv amûr li gorî tTiperfoverlay rasttir e ji ber ku ya paşîn barekî zêde li ser coreyên ARMm û DDR zêde dike da ku grafîkê xêz bike û li ser ekranê nîşan bide. Amûra perf_stats bi giranî ji bo berhevkirina encamên karanîna hardware di hemî rewşên ceribandinê yên ku di vê belgeyê de têne nîşandan de tê bikar anîn. Hin ji coreyên pêvajoyê û lezkerên girîng ên ku di van ceribandinan de hatine lêkolîn kirin ev in: pêvajoykerên sereke (çar coreyên A53 Arm @ 1.25GHz), lezkerê fêrbûna kûr (C7x-MMA @ 850MHz), VPAC (ISP) bi VISS û pir-pîvan (MSC0 û MSC1), û operasyonên DDR.

Tabloya 5-1 performans û bikaranîna çavkaniyan dema ku AM62A bi çar kamerayan re ji bo sê rewşên karanînê tê bikar anîn nîşan dide, di nav de weşana çar kamerayan bo dîmenderekê, weşana bi rêya Ethernetê, û tomarkirina li çar kamerayên cuda. files. Di her rewşa bikaranînê de du ceribandin têne bicîhkirin: tenê bi kamerayê û bi encamên fêrbûna kûr. Wekî din, rêza yekem a Tabloya 5-1-ê karanîna hardware nîşan dide dema ku tenê pergala xebitandinê li ser AM62A bêyî sepanên bikarhêner dixebitî. Ev wekî bingehek tê bikar anîn da ku dema nirxandina karanîna hardware ya rewşên din ên ceribandinê de were berhev kirin. Wekî ku di tabloyê de tê xuyang kirin, çar kamerayên bi fêrbûna kûr û dîmendera ekranê her yek bi 30 FPS xebitîn, bi tevahî 120 FPS ji bo çar kamerayan. Ev rêjeya çarçoveya bilind bi tenê 86% ji kapasîteya tevahî ya lezkerê fêrbûna kûr (C7x-MMA) tê bidestxistin. Wekî din, girîng e ku were zanîn ku lezkerê fêrbûna kûr di van ceribandinan de li şûna 850MHz li 1000MHz hate demjimêr kirin, ku ev tenê bi qasî 85% ji performansa wê ya herî zêde ye.

Tabloya 5-1. Performans (FPS) û Bikaranîna Çavkaniyan a AM62A dema ku bi 4 Kamerayên IMX219 re ji bo Nîşandana Ekranê, Herikîna Ethernet, Tomarkirinê tê bikar anîn. Files, û Pêkanîna Inferencingê ya Fêrbûna Kûr

Serlêdan n Xeta boriyê (xebat)

)

Karûabr FPS boriyên navînî s FPS

hemî

MPUyên A53s @ 1.25

GHz [%]

MCU R5 [%] DLA (C7x- MMA) @ 850

MHz [%]

VISS [%] MSC0 [%] MSC1 [%] DDR

Rd [MB/s]

DDR

Wr [MB/s]

DDR

Hemû [MB/s]

Serlêdan tune Xeta bingehîn Ne operasyon NA NA NA 1.87 1 0 0 0 0 560 19 579
Kamîra bes Herrok bo Ekranê Parêzî 30 120 12 12 0 70 61 60 1015 757 1782
Herikîna li ser Ethernetê PDU: 4

port 1920×1080

30 120 23 6 0 70 0 0 2071 1390 3461
Rekor ber files 4 files 1920×1080 30 120 25 3 0 70 0 0 2100 1403 3503
Cam bi Fêrbûna Kûr Fêrbûna Kûr: Tesbîtkirina Objeyan MobV1-coco Parêzî 30 120 38 25 86 71 85 82 2926 1676 4602
Fêrbûna Kûr: Tesbîtkirina Objeyan MobV1-coco û Herikîna li ser Ethernet PDU: 4

port 1920×1080

28 112 84 20 99 66 65 72 4157 2563 6720
Fêrbûna Kûr: Tesbîtkirina Objeyan MobV1- koko û tomarkirin bo files 4 files 1920×1080 28 112 87 22 98 75 82 61 2024 2458 6482

Berhevkirinî
Ev rapora serîlêdanê rave dike ka meriv çawa serîlêdanên pir-kamerayî li ser malbata cîhazên AM6x bicîh tîne. Di raporê de sêwirana referansê ya li ser bingeha Kîta Çareseriya Kamera V3Link û AM62A SK EVM ya Arducam tê peyda kirin, ku çend serîlêdanên kamerayê çar kamerayên IMX219 bikar tînin, wekî weşana zindî û tespîtkirina tiştan. Bikarhêner têne teşwîq kirin ku Kîta Çareseriya Kamera V3Link ji Arducam bistînin û van mînakan dubare bikin.amples. Raport her wiha analîzek berfireh a performansa AM62A peyda dike dema ku çar kamerayan di bin mîhengên cûda de bikar tîne, di nav de nîşandana li ser ekranê, weşana zindî li ser Ethernet, û tomarkirin li ser files. Ew her weha şiyana AM62A nîşan dide ku dikare encamên fêrbûna kûr li ser çar herikên kamerayê yên cuda bi hev re pêk bîne. Ger di derbarê xebitandina van mînakan de pirsek hebeamples, lêpirsînek li foruma TI E2E bişînin.

Çavkanî

  1. Rêbernameya Destpêkirina Bilez a EVM ya Kîta Destpêkê ya AM62A
  2. Rêbernameya Destpêkirina Bilez a Çareseriya Kamera ArduCam V3Link
  3. Belgeya SDK ya Edge AI ji bo AM62A
  4. Kamerayên Jîr ên AI yên Edge Bi Bikaranîna Prosesorek AM62A ya Enerjiyê-Teserûfkar
  5. Sîstemên Neynika Kamera li ser AM62A
  6. Sîstemên Çavdêriya Ajokar û Dagirbûnê li ser AM62A
  7. Serlêdana Kamera Çar Kanal ji bo Surround View û Sîstemên Kamerayên CMS
  8. Akademiya Linuxê ya AM62Ax li ser Çalakkirina Sensora CIS-2
  9. Modela AI ya EdgeZoo
  10. Stûdyoya AI ya Edge
  11. Amûra Perf_stats

Parçeyên TI yên ku di vê Nota Serlêdanê de hatine behskirin:

BİXWÎNE BİXWÎNE Û BİXWÎNE

TI DANÊN TEKNÎK Û PÊWBERÎ (TEVÎ PELÊKÊN DANÊ DE DE DE), ÇAVKANÊN SÊZANIYÊ (TEVÎ SÊZANEYÊN REFERENCE DE YE), SERLÊDAN AN ŞÊRÎNÊN DINÊ SÊZANIYÊ, WEB AMED, Agahiyên Ewlehiyê Û ÇAVKANÊN DIN "WEK HENE" Û BI HEMÛ QÛSET, Û HEMÛ GARANTIYÊN DESTPÊKIRIN, BİXWÎNE Û BİXWÎNE BİXWÎNE BİXWÎNE BİXWÎNE BİXWÎNE BİXWÎNE BİXWÎNE .

Van çavkaniyan ji bo pêşdebirên jêhatî yên ku bi hilberên TI-yê re sêwiran dikin têne armanc kirin. Hûn bi tenê berpirsiyar in

  1. ji bo serîlêdana we hilberên TI-ya guncan hilbijêrin,
  2. sêwirandin, pejirandin û ceribandina serlêdana we, û
  3. misogerkirina ku serlêdana we li gorî standardên pêkan û her hewcedariyên din ên ewlehî, ewlehî, rêziknameyî, an jî yên din e.

Ev çavkanî bêyî agahdarkirinê dikarin werin guhertin. TI destûrê dide we ku hûn van çavkaniyan tenê ji bo pêşxistina serîlêdanek bikar bînin ku hilberên TI-yê yên ku di çavkaniyê de hatine vegotin bikar tîne. Dubarekirin û nîşandana van çavkaniyan bi awayên din qedexe ye. Ji bo ti mafên din ên milkê rewşenbîrî yên TI-yê an jî ji bo ti mafên milkê rewşenbîrî yên aliyên sêyemîn destûr nayê dayîn. TI berpirsiyariya her îdîa, zirar, lêçûn, windahî û berpirsiyariyên ku ji karanîna we ya van çavkaniyan derdikevin red dike û hûn ê TI û nûnerên wê bi tevahî tazmîn bikin.

Berhemên TI-yê li gorî Mercên Firotanê yên TI-yê an şertên din ên pêvekirî yên ku li ser têne peyda kirin têne peyda kirin ti.com an jî bi hilberên TI yên weha re têne peyda kirin. Dabînkirina van çavkaniyan ji hêla TI ve, garantiyên bijarte yên TI-yê an behskirina garantiyê ji bo hilberên TI-yê berfireh nake an naguhezîne.

TI li hember şertên din an cûda yên ku we pêşniyar kirine nerazî dike û red dike.

AGAHIYA GIRÎNG

  • Navnîşana posteyê: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
  • Copyright © 2024, Texas Instruments Incorporated

Pirsên Pir Pir Pirs

P: Ma ez dikarim her cure kamerayê bi cîhazên malbata AM6x re bikar bînim?

Malbata AM6x celebên cûda yên kamerayan piştgirî dike, di nav de yên bi ISP-ya çêkirî an bê ISP. Ji bo bêtir agahdarî li ser celebên kamerayên piştgirîkirî li taybetmendiyan binêrin.

Cûdahiyên sereke yên di navbera AM62A û AM62P de di pêvajoya wêneyê de çi ne?

Guhertoyên sereke celebên kamerayên piştgirîkirî, daneyên derana kamerayê, hebûna ISP HWA, HWA ya Fêrbûna Kûr, û HWA ya Grafîkên 3-D vedihewîne. Ji bo berawirdkirinek berfireh li beşa taybetmendiyan binêrin.

 

Belge / Çavkanî

Texas Instruments AM6x Pir-Kamerayan Pêş dixe [pdf] Rehbera bikaranînê
AM62A, AM62P, AM6x Pêşxistina Pirjimara Kamerayan, AM6x, Pêşxistina Pirjimara Kamerayan, Pirjimara Kamerayan, Kamera

Çavkanî

Bihêle şîroveyek

Navnîşana e-nameya we nayê weşandin. Zeviyên pêwîst têne nîşankirin *