Texas Instruments AM6x kehittää useita kameroita

Tekniset tiedot

• Tuotteen nimi: AM6x-laiteperhe
• Tuetut kameratyypit: AM62A (sisäänrakennetulla ISP:llä tai ilman), AM62P (sisäänrakennetulla ISP:llä)
• Kameran lähtötiedot: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• Internet-palveluntarjoajan laitteisto: AM62A (Kyllä), AM62P (Ei)
• Syväoppimisen HWA: AM62A (Kyllä), AM62P (Ei)
• 3D-grafiikka HWA: AM62A (Ei), AM62P (Kyllä)

Johdatus AM6x:n monikamerasovelluksiin:

• Sulautetuilla kameroilla on ratkaiseva rooli nykyaikaisissa konenäköjärjestelmissä.
• Useiden kameroiden käyttö järjestelmässä parantaa ominaisuuksia ja mahdollistaa tehtäviä, jotka eivät ole mahdollisia yhdellä kameralla.

Useita kameroita käyttävät sovellukset:

• Turvallisuusvalvonta: Parantaa valvonnan kattavuutta, kohteiden seurantaa ja tunnistustarkkuutta.
• Surround View: Mahdollistaa stereonäön esimerkiksi esteiden havaitsemisessa ja kohteiden käsittelyssä.
• Matkustamon tallennin ja kamerapeilijärjestelmä: Tarjoaa laajemman peittoalueen ja poistaa katvealueet.
• Lääketieteellinen kuvantaminen: Tarjoaa parempaa tarkkuutta kirurgisessa navigoinnissa ja endoskopiassa.
• Droonit ja ilmakuvaus: Ota tarkkoja kuvia eri kulmista erilaisiin sovelluksiin.

Useiden CSI-2-kameroiden kytkeminen SoC:hen:
Useiden CSI-2-kameroiden liittämiseksi SoC:iin noudata käyttöoppaassa annettuja ohjeita. Varmista, että jokainen kamera on kohdistettu ja kytketty oikein SoC:n niille tarkoitettuihin portteihin.

Sovellus Huomautus
Usean kameran sovellusten kehittäminen AM6x:llä

Jianzhong Xu, Qutaiba Saleh

ABSTRAKTI
Tässä raportissa kuvataan sovelluskehitystä useiden CSI-2-kameroiden avulla AM6x-laiteperheessä. Raportissa esitetään neljän AM4A-järjestelmäpiirin kameran objektintunnistuksen ja syväoppimisen referenssisuunnittelu suorituskykyanalyysin kera. Suunnittelun yleiset periaatteet soveltuvat muihin CSI-62-liitännällä varustettuihin järjestelmäpiireihin, kuten AM2x ja AM62P.

Johdanto

Sulautetuilla kameroilla on tärkeä rooli nykyaikaisissa konenäköjärjestelmissä. Useiden kameroiden käyttö järjestelmässä laajentaa näiden järjestelmien ominaisuuksia ja mahdollistaa ominaisuuksia, jotka eivät ole mahdollisia yhdellä kameralla. Alla on joitakin esimerkkejäampuseita sulautettuja kameroita käyttävien sovellusten käyttö:

• Turvavalvonta: Useat strategisesti sijoitetut kamerat tarjoavat kattavan valvontakattavuuden. Ne mahdollistavat panoraamakuvauksen. views, vähentävät katvealueita ja parantavat kohteiden seurannan ja tunnistuksen tarkkuutta, mikä parantaa yleisiä turvatoimenpiteitä.
• Surround ViewUseita kameroita käytetään stereonäköjärjestelmän luomiseen, mikä mahdollistaa kolmiulotteisen tiedon ja syvyyden arvioinnin. Tämä on ratkaisevan tärkeää esimerkiksi esteiden havaitsemisessa autonomisissa ajoneuvoissa, tarkassa kohteiden käsittelyssä robotiikassa ja lisätyn todellisuuden kokemusten realismin parantamisessa.
• Ohjaamon tallennin ja kamerapeilijärjestelmä: Usealla kameralla varustettu auton ohjaamon tallennin voi tarjota laajemman kattavuuden yhdellä prosessorilla. Vastaavasti kahdella tai useammalla kameralla varustettu kamerapeilijärjestelmä voi laajentaa kuljettajan näkökenttää. view ja poistavat kuolleet kulmat auton kaikilta puolilta.
• Lääketieteellinen kuvantaminen: Lääketieteellisessä kuvantamisessa voidaan käyttää useita kameroita esimerkiksi kirurgiseen navigointiin, mikä tarjoaa kirurgeille useita näkökulmia tarkkuuden parantamiseksi. Endoskopiassa useat kamerat mahdollistavat sisäelinten perusteellisen tutkimisen.
• Droonit ja ilmakuvaus: Droonit on usein varustettu useilla kameroilla, joilla voi ottaa korkearesoluutioisia kuvia tai videoita eri kulmista. Tämä on hyödyllistä esimerkiksi ilmakuvauksessa, maatalouden seurannassa ja maanmittauksessa.
• Mikroprosessorien kehittyessä useita kameroita voidaan integroida yhdeksi järjestelmäpiiriksi.
  (SoC) tarjotakseen kompakteja ja tehokkaita ratkaisuja. AM62Ax SoC, jossa on tehokas video-/näköprosessointi ja syväoppimisen kiihtyvyys, on ihanteellinen laite edellä mainittuihin käyttötapauksiin. Toinen AM6x-laite, AM62P, on rakennettu tehokkaita sulautettuja 3D-näyttösovelluksia varten. 3D-grafiikkakiihdytyksellä varustettu AM62P voi helposti yhdistää useiden kameroiden kuvia ja tuottaa korkean resoluution panoraamakuvan. viewAM62A/AM62P SoC:n innovatiivisia ominaisuuksia on esitelty useissa julkaisuissa, kuten [4], [5], [6] jne. Tässä sovellushuomautuksessa ei toisteta näitä ominaisuuskuvauksia, vaan keskitytään useiden CSI-2-kameroiden integrointiin AM62A/AM62P:n sulautettuihin konenäkösovelluksiin.
• Taulukossa 1-1 on esitetty AM62A:n ja AM62P:n tärkeimmät erot kuvankäsittelyn osalta.

Taulukko 1-1. AM62A:n ja AM62P:n väliset erot kuvankäsittelyssä

Useiden CSI-2-kameroiden kytkeminen SoC:hen
AM6x SoC:n kamerajärjestelmä sisältää seuraavat komponentit, kuten kuvassa 2-1 on esitetty:

• MIPI D-PHY -vastaanotin: vastaanottaa videovirtoja ulkoisista kameroista ja tukee jopa 1.5 Gbps:n nopeutta datakaistaa kohden neljällä kaistalla.
• CSI-2-vastaanotin (RX): vastaanottaa videovirtoja D-PHY-vastaanottimelta ja joko lähettää virrat suoraan internet-palveluntarjoajalle tai tallentaa tiedot DDR-muistiin. Tämä moduuli tukee jopa 16 virtuaalikanavaa.
• SHIM: DMA-kääre, jonka avulla voidaan lähettää kaapattuja virtoja muistiin DMA:n kautta. Tämän kääreen avulla voidaan luoda useita DMA-konteksteja, joista jokainen vastaa CSI-2-vastaanottimen virtuaalikanavaa.

AM6x voi tukea useita kameroita CSI-2 RX:n virtuaalikanavien avulla, vaikka järjestelmäpiirissä on vain yksi CSI-2 RX -liitäntä. Ulkoinen CSI-2-aggregointikomponentti tarvitaan useiden kameravirtojen yhdistämiseen ja lähettämiseen yhdelle järjestelmäpiirille. Voidaan käyttää kahdenlaisia ​​CSI-2-aggregointiratkaisuja, joita kuvataan seuraavissa osioissa.

CSI-2-aggregaattori SerDesin avulla
Yksi tapa yhdistää useita kameravirtoja on käyttää serialisointi- ja deserialointiratkaisua (SerDes). Kunkin kameran CSI-2-data muunnetaan serialisoijalla ja siirretään kaapelin kautta. Deseralisoija vastaanottaa kaiken kaapeleista (yksi kaapeli kameraa kohden) siirretyn serialisoidun datan, muuntaa virrat takaisin CSI-2-dataksi ja lähettää sitten lomitetun CSI-2-virran SoC:n yhdelle CSI-2 RX -liitännälle. Jokainen kameravirta tunnistetaan yksilöllisellä virtuaalikanavalla. Tämä yhdistävä ratkaisu tarjoaa lisäetuna jopa 15 metrin etäisyyden kameroista SoC:iin.

AM3x Linux SDK:n tukemat FPD-Link- tai V6-Link-sarjallisaattorit ja -deserialisaattorit (SerDes) ovat suosituimpia tekniikoita tämän tyyppiselle CSI-2-aggregointiratkaisulle. Sekä FPD-Link- että V3-Link-deserialisaattoreilla on takakanavat, joita voidaan käyttää kehyksen synkronointisignaalien lähettämiseen kaikkien kameroiden synkronoimiseksi, kuten julkaisussa [7] on selitetty.
Kuva 2-2 esittää esimampesimerkki SerDesin käytöstä useiden kameroiden liittämiseen yhteen AM6x SoC:iin.

ExampTämän yhdistämisratkaisun osa löytyy Arducam V3Link Camera Solution Kitistä. Tässä paketissa on deserialisaattorikeskitin, joka yhdistää neljä CSI-4-kameravirtaa, sekä neljä paria V2link-serialisaattoreita ja IMX4-kameroita, mukaan lukien FAKRA-koaksiaalikaapelit ja 3-nastaiset FPC-kaapelit. Myöhemmin käsiteltävä referenssisuunnittelu perustuu tähän pakettiin.

CSI-2-aggregaattori ilman SerDes-funktiota
Tämän tyyppinen aggregaattori voi olla suoraan yhteydessä useisiin MIPI CSI-2 -kameroihin ja koota kaikkien kameroiden tiedot yhdeksi CSI-2-lähtövirraksi.

Kuva 2-3 esittää esimamptällaisen järjestelmän le. Tämän tyyppinen aggregointiratkaisu ei käytä mitään serialisoijaa/deserialisoijaa, mutta sitä rajoittaa CSI-2-tiedonsiirron enimmäisetäisyys, joka on jopa 30 cm. AM6x Linux SDK ei tue tämän tyyppistä CSI-2-aggregaattoria.

Useiden kameroiden käyttöönotto ohjelmistossa

Kameran alijärjestelmän ohjelmistoarkkitehtuuri
Kuva 3-1 esittää yleisen tason lohkokaavion AM62A/AM62P Linux SDK:n kameran tallennusjärjestelmän ohjelmistosta, joka vastaa kuvan 2-2 laitteistojärjestelmää.

• Tämä ohjelmistoarkkitehtuuri mahdollistaa SoC:n vastaanottaa useita kameravirtoja SerDes-piirin avulla, kuten kuvassa 2-2 on esitetty. FPD-Link/V3-Link SerDes määrittää jokaiselle kameralle yksilöllisen I2C-osoitteen ja virtuaalikanavan. Jokaiselle kameralle tulisi luoda yksilöllinen laitepuukerros, jossa on yksilöllinen I2C-osoite. CSI-2 RX -ajuri tunnistaa jokaisen kameran yksilöllisen virtuaalikanavanumeron avulla ja luo DMA-kontekstin kameravirtaa kohden. Jokaiselle DMA-kontekstille luodaan videosolmu. Kunkin kameran tiedot vastaanotetaan ja tallennetaan sitten DMA:n avulla muistiin vastaavasti. Käyttäjätilan sovellukset käyttävät kutakin kameraa vastaavia videosolmuja kameratietojen käyttämiseen. Esim.ampTämän ohjelmistoarkkitehtuurin käyttöohjeet on annettu luvussa 4 – Referenssisuunnittelu.
• Mikä tahansa V4L2-kehyksen kanssa yhteensopiva anturiohjain voidaan kytkeä ja käyttää tässä arkkitehtuurissa. Katso lisätietoja uuden anturiohjaimen integroinnista Linux SDK:han kohdasta [8].

Kuvaputken ohjelmistoarkkitehtuuri

• AM6x Linux SDK tarjoaa GStreamer (GST) -kehyksen, jota voidaan käyttää palveluympäristössä kuvankäsittelykomponenttien integrointiin erilaisissa sovelluksissa. SoC:n laitteistokiihdyttimiin (HWA), kuten Vision Pre-processing Accelerator (VPAC) tai ISP, videoenkooderiin/dekooderiin ja syväoppimiseen perustuvaan laskentamoottoriin, päästään käsiksi GST:n kautta. pluginsItse VPAC:ssa (ISP) on useita lohkoja, mukaan lukien Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) ja Multiscalar (MSC), joista kukin vastaa GST-laajennusta.
• Kuva 3-2 esittää lohkokaavion tyypillisestä kuvaputkesta kamerasta koodaukseen tai syvään tiedonsiirtoon.
  oppimissovellukset AM62A:lla. Lisätietoja kokonaisvaltaisesta tiedonkulusta on EdgeAI SDK:n dokumentaatiossa.

AM62P:ssä kuvaprosessi on yksinkertaisempi, koska AM62P:ssä ei ole internet-palveluntarjoajaa.

Kun jokaiselle kameralle on luotu videosolmu, GStreamer-pohjainen kuvaputki mahdollistaa useiden kameratulojen (jotka on yhdistetty saman CSI-2 RX -liitännän kautta) samanaikaisen käsittelyn. Seuraavassa luvussa esitetään GStreameria käyttävä referenssisuunnittelu monikamerasovelluksiin.

Viitesuunnittelu

Tässä luvussa esitetään referenssisuunnitelma usean kameran sovellusten ajamisesta AM62A EVM:llä, jossa käytetään Arducam V3Link Camera Solution Kitiä neljän CSI-4-kameran kytkemiseen AM2A:han ja suoritetaan kohteen tunnistus kaikille neljälle kameralle.

Tuetut kamerat
Arducam V3Link -sarja toimii sekä FPD-Link/V3-Link-pohjaisten kameroiden että Raspberry Pi -yhteensopivien CSI-2-kameroiden kanssa. Seuraavia kameroita on testattu:

• D3 Engineering D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• IMX219-kamerat Arducam V3Link -kameraratkaisupaketissa

Neljän IMX219-kameran asentaminen
Noudata AM62A Starter Kit EVM -pikaoppaassa annettuja ohjeita SK-AM62A-LP EVM:n (AM62A SK) ja ArduCam V3Link Camera Solution -pikaoppaan asentamiseksi ja kameroiden liittämiseksi AM62A SK:hon V3Link-paketin kautta. Varmista, että joustavien kaapeleiden, kameroiden, V3Link-kortin ja AM62A SK:n nastat ovat oikein kohdistettuja.

Kuvassa 4-1 on esitetty tässä raportissa käytetyn referenssisuunnitelman asetukset. Järjestelmän pääkomponentit ovat:

• 1X SK-AM62A-LP EVM-kortti
• 1X Arducam V3Link d-ch -sovitinlevy
• FPC-kaapeli, joka yhdistää Arducam V3Linkin SK-AM62A:han
• 4X V3Link-kamerasovittimet (sarjamuuntimet)
• 4X RF-koaksiaalikaapelia V3Link-serialisaattoreiden kytkemiseksi V3Link-d-kanavasarjaan
• 4X IMX219-kameraa
• 4X CSI-2 22-nastaista kaapelia kameroiden liittämiseen sarjoittimiin
• Kaapelit: HDMI-kaapeli, USB-C SK-AM62A-LP:n virransyöttöön ja 12 V:n virransyöttö V3Link D-kanavasarjalle)
• Muut komponentit, joita ei ole esitetty kuvassa 4-1: micro-SD-kortti, micro-USB-kaapeli SK-AM62A-LP:n käyttöä varten ja Ethernet suoratoistoa varten

Kameroiden ja CSI-2-vastaanotinliitännän konfigurointi
Asenna ohjelmisto Arducam V3Link -pikaoppaan ohjeiden mukaisesti. Kun olet suorittanut kameran asennusskriptin setup-imx219.sh, kameran formaatti, CSI-2 RX -rajapinnan formaatti ja reitit kustakin kamerasta vastaavaan videosolmuun konfiguroidaan oikein. Neljälle IMX219-kameralle luodaan neljä videosolmua. Komento ”v4l2-ctl –list-devices” näyttää kaikki V4L2-videolaitteet alla olevan kuvan mukaisesti:

tiscsi6rx:ssä on kuusi video- ja yksi mediasolmu. Jokainen videosolmu vastaa CSI1 RX -ajurin allokoimaa DMA-kontekstia. Kuudesta videosolmusta neljää käytetään neljälle IMX2-kameralle, kuten alla olevassa mediaputkien topologiassa on esitetty:

Kuten yllä on esitetty, mediayksiköllä 30102000.ticsi2rx on 6 lähdeliitäntää, mutta vain neljää ensimmäistä käytetään, kukin yhdelle IMX4:lle. Mediaputken topologia voidaan havainnollistaa myös graafisesti. Suorita seuraava komento luodaksesi pisteen file:

Suorita sitten alla oleva komento Linux-isäntätietokoneella PNG-kuvan luomiseksi file:

Kuva 4-2 on yllä annetuilla komennoilla luotu kuva. Kuvassa 3-1 esitetyn ohjelmistoarkkitehtuurin komponentit löytyvät tästä kaaviosta.

Suoratoisto neljästä kamerasta
Kun sekä laitteisto että ohjelmisto on määritetty oikein, useiden kameroiden sovelluksia voidaan ajaa käyttäjätilasta. AM62A:n tapauksessa ISP on viritettävä hyvän kuvanlaadun tuottamiseksi. Katso AM6xA ISP:n viritysoppaasta ohjeet ISP:n virittämiseen. Seuraavissa osioissa esitellään esimerkkejä...ampkameratietojen suoratoistosta näytölle, kameratietojen suoratoistosta verkkoon ja kameratietojen tallentamisesta files.

Kameratietojen suoratoisto näytölle
Tämän monikamerajärjestelmän perussovellus on kaikkien kameroiden videoiden suoratoisto samaan järjestelmäpiiriin kytketylle näytölle. Seuraava on GStreamer-putkiesimerkkiampesimerkiksi neljän IMX219:n suoratoisto näytölle (videotulosten numerot ja v4l-subdev-numerot putkessa todennäköisesti muuttuvat uudelleenkäynnistyksestä toiseen).

Kameratietojen suoratoisto Ethernetin kautta
Sen sijaan, että kameradataa suoratoistettaisiin samaan järjestelmäpiiriin kytkettyyn näyttöön, se voidaan suoratoistaa myös Ethernetin kautta. Vastaanottava puoli voi olla joko toinen AM62A/AM62P-prosessori tai isäntätietokone. Seuraavassa on esimerkkiampkameradatan suoratoisto Ethernetin kautta (käyttäen kahta kameraa yksinkertaisuuden vuoksi) (huomaa putkessa käytetty enkooderilaajennus):

Seuraava on exampkameradatan vastaanottaminen ja suoratoisto näytölle toisella AM62A/AM62P-prosessorilla:

Kameratietojen tallentaminen Files
Näytölle suoratoiston tai verkon kautta tapahtuvan suoratoiston sijaan kameran tiedot voidaan tallentaa paikallisesti files. Alla oleva putkisto tallentaa kunkin kameran tiedot file (käyttäen kahta kameraa ex-tapauksenaamp(yksinkertaisuuden vuoksi).

Monikamerainen syväoppimisen päättely

AM62A on varustettu syväoppimisen kiihdyttimellä (C7x-MMA), jossa on jopa kaksi TOPS-piiriä. Nämä laitteet pystyvät suorittamaan erityyppisiä syväoppimismalleja luokitteluun, objektien tunnistukseen, semanttiseen segmentointiin ja muihin tarkoituksiin. Tässä osiossa näytetään, kuinka AM62A voi samanaikaisesti suorittaa neljää syväoppimismallia neljällä eri kamerasyötteellä.

Mallin valinta
TI:n EdgeAI-ModelZoo tarjoaa satoja huippuluokan malleja, jotka muunnetaan/vievät alkuperäisistä koulutuskehyksistään sulautettuun ja helposti sulautettavissa olevaan muotoon, jotta ne voidaan ladata C7x-MMA-syväoppimisen kiihdytystyökaluun. Pilvipohjainen Edge AI Studio Model Analyzer tarjoaa helppokäyttöisen "mallinvalintatyökalun". Se päivittyy dynaamisesti sisältämään kaikki TI EdgeAI-ModelZoon tukemat mallit. Työkalu ei vaadi aiempaa kokemusta ja tarjoaa helppokäyttöisen käyttöliittymän halutun mallin tarvittavien ominaisuuksien syöttämiseen.

Tähän monikameraiseen syväoppimiskokeeseen valittiin TFL-OD-2000-ssd-mobV1-coco-mlperf. Tämä usean objektin tunnistusmalli on kehitetty TensorFlow-kehyksessä ja sen syöttötarkkuus on 300×300. Taulukko 4-1 esittää mallin tärkeät ominaisuudet, kun sitä on koulutettu cCOCO-aineistolla, jossa on noin 80 eri luokkaa.

Taulukko 4-1. Mallin TFL-OD-2000-ssd-mobV1-coco-mlperf tärkeimmät ominaisuudet.

Putkilinjan asennus
Kuvassa 4-3 on esitetty neljän kameran syväoppimisen GStreamer-prosessi. TI tarjoaa GStreamer-paketin. plugins jotka mahdollistavat osan median prosessoinnista ja syväoppimisen päättelystä siirtämisen laitteistokiihdyttimille. Jotkut esim.ampvähemmän näitä plugins sisältävät tiovxispin, tiovxmultiscalerin, tiovxmosaicin ja tidlinfererin. Kuvassa 4-3 oleva putkisto sisältää kaikki tarvittavat plugins monireittiselle GStreamer-putkelle neljälle kameratulolle, joista jokaisella on median esikäsittely, syväoppimisen päättely ja jälkikäsittely. Kopioitu plugins Kunkin kamerareitin arvot on pinottu kaavioon havainnollistamisen helpottamiseksi.
Käytettävissä olevat laitteistoresurssit jakautuvat tasaisesti neljän kamerareitin kesken. Esimerkiksi AM62A sisältää kaksi kuvan moniskaalainta: MSC0:n ja MSC1:n. Liukuhihna on nimenomaisesti omistanut MSC0:n kameran 1 ja kameran 2 reittien käsittelylle, kun taas MSC1 on omistautunut kameralle 3 ja kameralle 4.

Neljän kameran prosessointiketjun lähtö skaalataan alas ja ketjutetaan yhteen tiovxmosaic-laajennuksella. Tuloste näytetään yhdellä näytöllä. Kuva 4-4 näyttää neljän kameran tulosteen, jossa on syväoppimismalli, joka suorittaa objektintunnistusta. Jokainen prosessointiketju (kamera) toimii 30 FPS:n ja yhteensä 120 FPS:n nopeudella.

Seuraavaksi on kuvassa 4-3 esitetty monikameraisen syväoppimisen käyttötapauksen täydellinen skripti.

Suorituskykyanalyysi

Neljän kameran kokoonpanoa, jossa käytettiin V3Link-korttia ja AM62A SK:ta, testattiin erilaisissa sovellustilanteissa, mukaan lukien suora näyttö näytöllä, suoratoisto Ethernetin kautta (neljä UDP-kanavaa) ja tallennus neljään erilliseen... files, ja syväoppimisen päättelyn avulla. Jokaisessa kokeessa seurasimme ruudunpäivitysnopeutta ja suorittimen ytimien käyttöä tutkiaksemme koko järjestelmän ominaisuuksia.

Kuten aiemmin kuvassa 4-4 on esitetty, syväoppimisputki käyttää tiperfooverlay GStreamer -laajennusta näyttääkseen suorittimen ydinkuormituksen pylväsdiagrammina näytön alareunassa. Oletusarvoisesti kaavio päivittyy kahden sekunnin välein, jotta kuormitus näkyy käyttöasteena.tage. Tiperfooverlay GStreamer -laajennuksen lisäksi perf_stats-työkalu on toinen vaihtoehto ytimen suorituskyvyn näyttämiseen suoraan terminaalissa, ja se voidaan tallentaa tiedostoon. fileTämä työkalu on tarkempi kuin tTiperfooverlay, koska jälkimmäinen lisää ARMm-ytimien ja DDR:n kuormitusta graafin piirtämiseksi ja sen näyttämiseksi näytöllä. perf_stats-työkalua käytetään pääasiassa laitteiston käyttöasteen tulosten keräämiseen kaikissa tässä dokumentissa esitetyissä testitapauksissa. Joitakin näissä testeissä tutkittuja tärkeitä prosessointiytimiä ja kiihdyttimiä ovat pääprosessorit (neljä A53 Arm -ydintä @ 1.25 GHz), syväoppimisen kiihdytin (C7x-MMA @ 850 MHz), VPAC (ISP) VISS:llä ja monijakajilla (MSC0 ja MSC1) sekä DDR-toiminnot.

Taulukko 5-1 näyttää suorituskyvyn ja resurssien käytön käytettäessä AM62A:ta neljällä kameralla kolmessa käyttötapauksessa, mukaan lukien neljän kameran suoratoisto näytölle, suoratoisto Ethernetin kautta ja tallennus neljään erilliseen laitteeseen. files. Jokaisessa käyttötapauksessa toteutetaan kaksi testiä: pelkällä kameralla ja syväoppimisen päättelyllä. Lisäksi taulukon 5-1 ensimmäisellä rivillä on esitetty laitteiston käyttöasteet, kun AM62A:lla oli käynnissä vain käyttöjärjestelmä ilman käyttäjän sovelluksia. Tätä käytetään vertailukohtana muiden testitapausten laitteiston käyttöasteiden arvioinnissa. Kuten taulukosta käy ilmi, neljä syväoppimisella ja näytöllä varustettua kameraa toimivat kukin 30 FPS:n nopeudella, ja neljän kameran yhteensä oli 120 FPS. Tämä korkea kuvataajuus saavutetaan vain 86 %:lla syväoppimiskiihdyttimen (C7x-MMA) täydestä kapasiteetista. Lisäksi on tärkeää huomata, että syväoppimiskiihdytin kellotettiin näissä kokeissa 850 MHz:n taajuudella 1000 MHz:n sijaan, mikä on noin vain 85 % sen maksimitehosta.

Taulukko 5-1. AM62A:n suorituskyky (FPS) ja resurssien käyttöaste neljän IMX4-kameran kanssa näyttöä, Ethernet-suoratoistoa ja tallennusta varten. Fileja syväoppimisen päättelyn suorittaminen

Yhteenveto
Tässä sovellusraportissa kuvataan, kuinka AM6x-laiteperheessä toteutetaan monikamerasovelluksia. Raportissa esitetään Arducamin V3Link-kameraratkaisupakettiin ja AM62A SK EVM:ään perustuva referenssisuunnitelma, jossa on useita kamerasovelluksia, jotka käyttävät neljää IMX219-kameraa, kuten suoratoistoa ja kohteiden tunnistus. Käyttäjiä kannustetaan hankkimaan V3Link-kameraratkaisupaketti Arducamilta ja kopioimaan nämä esimerkit.amples. Raportissa on myös yksityiskohtainen analyysi AM62A:n suorituskyvystä käytettäessä neljää kameraa eri kokoonpanoissa, mukaan lukien näyttö näytölle, suoratoisto Ethernetin kautta ja tallennus files. Se osoittaa myös AM62A:n kyvyn suorittaa syväoppimisen päättelyä neljälle erilliselle kameravirralle rinnakkain. Jos sinulla on kysyttävää näiden kokeiden suorittamisestaampLähetä kysely TI E2E -foorumilla.

Viitteet

1. AM62A Aloituspakkaus EVM Pikaopas
2. ArduCam V3Link -kameraratkaisun pikaopas
3. Edge AI SDK:n dokumentaatio AM62A:lle
4. Edge AI -älykamerat energiatehokkaalla AM62A-prosessorilla
5. Kamerapeilijärjestelmät AM62A:lla
6. Kuljettajan ja läsnäolon valvontajärjestelmät AM62A:ssa
7. Neljän kanavan kamerasovellus surround-käyttöön View ja CMS-kamerajärjestelmät
8. AM62Ax Linux Academy CIS-2-anturin käyttöönotosta
9. Edge AI -mallinnuksen
10. Edge AI -studio
11. Perf_stats-työkalu

Tässä hakemushuomautuksessa viitatut TI-osat:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

TÄRKEÄ ILMOITUS JA VASTUUVAPAUSLAUSEKE

TI TARJOAA TEKNISET JA LUOTETTAVUUSTIEDOT (MUKAAN LUKIEN TIEDOT), SUUNNITTELURESURSSIT (MUKAAN LUKIEN VIITESUUNNITELUT), SOVELLUKSEN TAI MUITA SUUNNITTELUJA, WEB TYÖKALUT, TURVALLISUUSTIEDOT JA MUUT RESURSSIT ”SELLAISENAAN” JA KAIKKI VIHEIDEN MUKAAN, JA KIISTÄÄ KAIKISTA NIMENOMAISISTA JA OLUTUISTA TAKUISTA, MUKAAN RAJOITUKSESTA MITÄÄN OLUETTAVAT TAKUUT MYYNTIPUOLETUKSEESTA TAI MUUTTAVAT RAJOITUKSESTA KOLMANNEN OSAPUOLEN IMMATERIAALIOIKEUDET .

Nämä resurssit on tarkoitettu ammattitaitoisille kehittäjille, jotka suunnittelevat TI-tuotteita. Olet yksin vastuussa

1. valita sovelluksellesi sopivat TI-tuotteet,
2. sovelluksesi suunnittelu, validointi ja testaus sekä
3. varmistamalla, että sovelluksesi täyttää sovellettavat standardit ja kaikki muut turvallisuus-, suojaus-, sääntely- tai muut vaatimukset.

Näitä resursseja voidaan muuttaa ilman erillistä ilmoitusta. TI sallii näiden resurssien käytön ainoastaan ​​sellaisen sovelluksen kehittämiseen, joka käyttää resurssissa kuvattuja TI-tuotteita. Näiden resurssien muu kopiointi ja näyttäminen on kielletty. Lisenssiä ei myönnetä mihinkään muuhun TI:n immateriaalioikeuteen tai mihinkään kolmannen osapuolen immateriaalioikeuteen. TI sanoutuu irti vastuusta kaikista vaatimuksista, vahingoista, kustannuksista, menetyksistä ja vastuista, jotka johtuvat näiden resurssien käytöstäsi, ja sinä korvaat TI:lle ja sen edustajille täysimääräisesti kaikki tällaiset vaatimukset, vahingot, kustannukset, tappiot ja vastuut.

TI:n tuotteet toimitetaan TI:n myyntiehtojen tai muiden soveltuvien ehtojen alaisina, jotka ovat saatavilla joko ti.com tai toimitetaan tällaisten TI-tuotteiden yhteydessä. TI:n tarjoamat nämä resurssit eivät laajenna tai muutoin muuta TI:n sovellettavia takuita tai TI-tuotteiden takuun vastuuvapauslausekkeita.

TI vastustaa ja hylkää kaikki ehdottamasi lisä- tai erilaiset ehdot.

TÄRKEÄ HUOMAUTUS

• Postiosoite: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
• Copyright © 2024, Texas Instruments Incorporated

Usein kysytyt kysymykset

Asiakirjat / Resurssit

Texas Instruments AM6x kehittää useita kameroita [pdfKäyttöopas AM62A, AM62P, AM6x Usean kameran kehitys, AM6x, Usean kameran kehitys, Useita kameroita, Kamera

Viitteet

• Käyttöopas