Texas Instruments AM6x razvija više kamera
Tehnički podaci
- Naziv proizvoda: AM6x obitelj uređaja
- Podržani tip kamere: AM62A (sa ili bez ugrađenog ISP-a), AM62P (s ugrađenim ISP-om)
- Izlazni podaci kamere: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- ISP HWA: AM62A (Da), AM62P (Ne)
- Duboko učenje HWA: AM62A (Da), AM62P (Ne)
- 3D grafika HWA: AM62A (Ne), AM62P (Da)
Uvod u primjenu više kamera na AM6x:
- Ugrađene kamere igraju ključnu ulogu u modernim sustavima vida.
- Korištenje više kamera u sustavu poboljšava mogućnosti i omogućuje zadatke koji se ne mogu postići jednom kamerom.
Aplikacije koje koriste više kamera:
- Sigurnosni nadzor: Poboljšava pokrivenost nadzorom, praćenje objekata i točnost prepoznavanja.
- Surround View: Omogućuje stereo vid za zadatke poput otkrivanja prepreka i manipulacije objektima.
- Sustav snimanja u kabini i kamere u retrovizoru: Pruža produženu pokrivenost i uklanja slijepe točke.
- Medicinsko snimanje: Nudi poboljšanu preciznost u kirurškoj navigaciji i endoskopiji.
- Dronovi i snimanje iz zraka: Snimajte slike visoke rezolucije iz različitih kutova za različite primjene.
Spajanje više CSI-2 kamera na SoC:
Za spajanje više CSI-2 kamera na SoC, slijedite smjernice navedene u korisničkom priručniku. Osigurajte pravilno poravnanje i spajanje svake kamere na određene priključke na SoC-u.
Napomena o prijavi
Razvoj aplikacija s više kamera na AM6x
Jianzhong Xu, Qutaiba Saleh
SAŽETAK
Ovo izvješće opisuje razvoj aplikacija korištenjem više CSI-2 kamera na AM6x obitelji uređaja. Predstavljen je referentni dizajn detekcije objekata s dubokim učenjem na 4 kamere na AM62A SoC-u s analizom performansi. Opći principi dizajna primjenjuju se na druge SoC-ove s CSI-2 sučeljem, kao što su AM62x i AM62P.
Uvod
Ugrađene kamere igraju važnu ulogu u modernim sustavima vida. Korištenje više kamera u sustavu proširuje mogućnosti tih sustava i omogućuje mogućnosti koje nisu moguće s jednom kamerom. U nastavku su navedeni neki primjeri...ampbroj aplikacija koje koriste više ugrađenih kamera:
- Sigurnosni nadzor: Višestruke kamere postavljene strateški pružaju sveobuhvatnu nadzornu pokrivenost. Omogućuju panoramski views, smanjuju slijepe točke i poboljšavaju točnost praćenja i prepoznavanja objekata, poboljšavajući ukupne sigurnosne mjere.
- Surround ViewViše kamera koristi se za stvaranje stereo vizualnog sustava, omogućujući trodimenzionalne informacije i procjenu dubine. To je ključno za zadatke poput otkrivanja prepreka u autonomnim vozilima, precizne manipulacije objektima u robotici i poboljšanog realizma iskustava proširene stvarnosti.
- Sustav kamere za snimanje u kabini i retrovizora: Snimač kabine automobila s više kamera može pružiti veću pokrivenost korištenjem jednog procesora. Slično tome, sustav kamere za snimanje u retrovizoru s dvije ili više kamera može proširiti vozačevo polje view i uklonite slijepe kutove sa svih strana automobila.
- Medicinsko snimanje: Više kamera može se koristiti u medicinskom snimanju za zadatke poput kirurške navigacije, pružajući kirurzima više perspektiva za poboljšanu preciznost. U endoskopiji, više kamera omogućuje temeljit pregled unutarnjih organa.
- Dronovi i snimanje iz zraka: Dronovi često dolaze opremljeni s više kamera za snimanje slika ili videozapisa visoke rezolucije iz različitih kutova. To je korisno u primjenama poput snimanja iz zraka, praćenja poljoprivrede i geodetskog snimanja zemljišta.
- S napretkom mikroprocesora, više kamera može se integrirati u jedan sustav na čipu.
(SoC) kako bi pružio kompaktna i učinkovita rješenja. AM62Ax SoC, s visokoučinkovitom obradom videa/vida i ubrzanjem dubokog učenja, idealan je uređaj za gore navedene slučajeve upotrebe. Drugi AM6x uređaj, AM62P, izgrađen je za visokoučinkovite ugrađene 3D zaslonske aplikacije. Opremljen 3D grafičkim ubrzanjem, AM62P može jednostavno spojiti slike s više kamera i stvoriti panoramsku sliku visoke rezolucije. viewInovativne značajke SoC-a AM62A/AM62P predstavljene su u raznim publikacijama, kao što su [4], [5], [6] itd. Ova primjena neće ponavljati opise tih značajki, već se usredotočuje na integraciju više CSI-2 kamera u ugrađene aplikacije za vid na AM62A/AM62P. - Tablica 1-1 prikazuje glavne razlike između AM62A i AM62P što se tiče obrade slike.
Tablica 1-1. Razlike između AM62A i AM62P u obradi slike
SoC | AM62A | AM62P |
Podržana vrsta kamere | Sa ili bez ugrađenog ISP-a | S ugrađenim ISP-om |
Izlazni podaci kamere | Raw/YUV/RGB | YUV/RGB |
ISP HWA | Da | Ne |
Duboko učenje HWA | Da | Ne |
3D grafika HWA | Ne | Da |
Spajanje više CSI-2 kamera na SoC
Podsustav kamere na AM6x SoC-u sadrži sljedeće komponente, kao što je prikazano na slici 2-1:
- MIPI D-PHY prijemnik: prima video streamove s vanjskih kamera, podržavajući do 1.5 Gbps po podatkovnoj traci za 4 trake.
- CSI-2 prijemnik (RX): prima video streamove s D-PHY prijemnika i ili izravno šalje streamove ISP-u ili pohranjuje podatke u DDR memoriju. Ovaj modul podržava do 16 virtualnih kanala.
- SHIM: DMA omotač koji omogućuje slanje snimljenih streamova u memoriju preko DMA-a. Ovaj omotač može stvoriti više DMA konteksta, pri čemu svaki kontekst odgovara virtualnom kanalu CSI-2 prijemnika.
Više kamera može biti podržano na AM6x korištenjem virtualnih kanala CSI-2 RX-a, iako postoji samo jedno CSI-2 RX sučelje na SoC-u. Za kombiniranje više streamova kamera i njihovo slanje na jedan SoC potrebna je vanjska CSI-2 agregirajuća komponenta. Mogu se koristiti dvije vrste CSI-2 agregirajućih rješenja, opisanih u sljedećim odjeljcima.
CSI-2 agregator koji koristi SerDes
Jedan od načina kombiniranja više streamova kamera je korištenje rješenja za serijalizaciju i deserijalizaciju (SerDes). CSI-2 podatke sa svake kamere pretvara serijalizator i prenosi putem kabela. Deserializator prima sve serijalizirane podatke prenesene s kabela (jedan kabel po kameri), pretvara streamove natrag u CSI-2 podatke, a zatim šalje isprepleteni CSI-2 stream na jedno CSI-2 RX sučelje na SoC-u. Svaki stream kamere identificira se jedinstvenim virtualnim kanalom. Ovo rješenje za agregiranje nudi dodatnu prednost omogućavanja veze na velike udaljenosti do 15 m od kamera do SoC-a.
FPD-Link ili V3-Link serijalizatori i deserializatori (SerDes), podržani u AM6x Linux SDK-u, najpopularnije su tehnologije za ovu vrstu CSI-2 agregirajućeg rješenja. I FPD-Link i V3-Link deserializatori imaju povratne kanale koji se mogu koristiti za slanje signala sinkronizacije okvira za sinkronizaciju svih kamera, kao što je objašnjeno u [7].
Slika 2-2 prikazuje exampnačin korištenja SerDes-a za spajanje više kamera na jedan AM6x SoC.
BivšiampDio ovog agregacijskog rješenja može se pronaći u Arducam V3Link Camera Solution Kitu. Ovaj komplet ima središte deserializatora koje agregira 4 CSI-2 toka kamera, kao i 4 para V3link serijalizatora i IMX219 kamera, uključujući FAKRA koaksijalne kabele i 22-pinske FPC kabele. Referentni dizajn o kojem će se kasnije raspravljati izgrađen je na ovom kompletu.
CSI-2 agregator bez korištenja SerDes-a
Ova vrsta agregatora može se izravno povezati s više MIPI CSI-2 kamera i agregirati podatke sa svih kamera u jedan CSI-2 izlazni tok.
Slika 2-3 prikazuje examptakvog sustava. Ova vrsta agregacijskog rješenja ne koristi nikakav serijalizator/deserializator, već je ograničena maksimalnom udaljenošću prijenosa CSI-2 podataka, koja je do 30 cm. AM6x Linux SDK ne podržava ovu vrstu CSI-2 agregatora.
Omogućavanje više kamera u softveru
Arhitektura softvera podsustava kamere
Slika 3-1 prikazuje blok dijagram visoke razine softvera sustava za snimanje kamerom u AM62A/AM62P Linux SDK-u, koji odgovara hardverskom sustavu na slici 2-2.
- Ova softverska arhitektura omogućuje SoC-u primanje više streamova kamera pomoću SerDes-a, kao što je prikazano na slici 2-2. FPD-Link/V3-Link SerDes dodjeljuje jedinstvenu I2C adresu i virtualni kanal svakoj kameri. Treba stvoriti jedinstveno prekrivanje stabla uređaja s jedinstvenom I2C adresom za svaku kameru. CSI-2 RX upravljački program prepoznaje svaku kameru pomoću jedinstvenog broja virtualnog kanala i stvara DMA kontekst po streamu kamere. Za svaki DMA kontekst stvara se video čvor. Podaci sa svake kamere zatim se primaju i pohranjuju pomoću DMA u memoriju. Aplikacije korisničkog prostora koriste video čvorove koji odgovaraju svakoj kameri za pristup podacima kamere. Npr.ampPrimjeri korištenja ove softverske arhitekture dani su u 4. poglavlju – Referentni dizajn.
- Bilo koji specifični upravljački program senzora koji je kompatibilan s V4L2 okvirom može se uključiti i koristiti u ovoj arhitekturi. Pogledajte [8] o tome kako integrirati novi upravljački program senzora u Linux SDK.
Arhitektura softvera za obradu slika
- AM6x Linux SDK pruža GStreamer (GST) okvir koji se može koristiti u ser prostoru za integraciju komponenti za obradu slike za različite aplikacije. Hardverski akceleratori (HWA) na SoC-u, kao što su akcelerator za predprocesiranje vida (VPAC) ili ISP, video koder/dekoder i mehanizam za duboko učenje, pristupaju se putem GST-a. pluginsSam VPAC (ISP) ima više blokova, uključujući podsustav vizualnog snimanja (VISS), korekciju izobličenja leće (LDC) i multiskalar (MSC), a svaki odgovara GST dodatku.
- Slika 3-2 prikazuje blok dijagram tipičnog cjevovoda slike od kamere do kodiranja ili dubokog
aplikacije za učenje na AM62A. Za više detalja o end-to-end toku podataka, pogledajte dokumentaciju EdgeAI SDK-a.
Za AM62P, cjevovod slike je jednostavniji jer na AM62P nema ISP-a.
S video čvorom stvorenim za svaku kameru, cjevovod slike temeljen na GStreameru omogućuje istovremenu obradu više ulaza kamera (spojenih putem istog CSI-2 RX sučelja). Referentni dizajn koji koristi GStreamer za primjene s više kamera dan je u sljedećem poglavlju.
Referentni dizajn
Ovo poglavlje predstavlja referentni dizajn pokretanja aplikacija s više kamera na AM62A EVM-u, korištenjem Arducam V3Link Camera Solution Kit-a za spajanje 4 CSI-2 kamere na AM62A i pokretanje detekcije objekata za sve 4 kamere.
Podržane kamere
Arducam V3Link komplet radi s kamerama temeljenim na FPD-Link/V3-Link i s Raspberry Pi kompatibilnim CSI-2 kamerama. Testirane su sljedeće kamere:
- D3 Inženjering D3RCM-IMX390-953
- Leopard Imaging LI-OV2312-FPDLINKIII-110H
- IMX219 kamere u Arducam V3Link kompletu rješenja za kamere
Postavljanje četiri IMX219 kamere
Slijedite upute navedene u Vodiču za brzi početak za AM62A Starter Kit EVM kako biste postavili SK-AM62A-LP EVM (AM62A SK) i ArduCam V3Link Camera Solution Vodič za brzi početak za spajanje kamera na AM62A SK putem V3Link kompleta. Provjerite jesu li pinovi na fleksibilnim kabelima, kamerama, V3Link ploči i AM62A SK ispravno poravnati.
Slika 4-1 prikazuje postavke korištene za referentni dizajn u ovom izvješću. Glavne komponente u postavkama uključuju:
- 1X SK-AM62A-LP EVM ploča
- 1X Arducam V3Link adapterska ploča za d-ch
- FPC kabel koji spaja Arducam V3Link na SK-AM62A
- 4X V3Link adaptera za kamere (serializatora)
- 4X RF koaksijalni kabeli za spajanje V3Link serializatora na V3Link d-ch komplet
- 4X IMX219 kamere
- 4X CSI-2 22-pinski kabeli za spajanje kamera na serializatore
- Kablovi: HDMI kabel, USB-C kabel za napajanje SK-AM62A-LP i 12V napajanje za V3Link d-ch komplet)
- Ostale komponente koje nisu prikazane na slici 4-1: micro-SD kartica, micro-USB kabel za pristup SK-AM62A-LP i Ethernet za streaming
Konfiguriranje kamera i CSI-2 RX sučelja
Postavite softver prema uputama navedenim u Vodiču za brzi početak rada za Arducam V3Link. Nakon pokretanja skripte za postavljanje kamere, setup-imx219.sh, format kamere, format CSI-2 RX sučelja i rute od svake kamere do odgovarajućeg video čvora bit će ispravno konfigurirani. Za četiri IMX219 kamere kreirana su četiri video čvora. Naredba „v4l2-ctl –list-devices” prikazuje sve V4L2 video uređaje, kao što je prikazano u nastavku:
Pod tiscsi6rx nalazi se 1 video čvorova i 2 medijski čvor. Svaki video čvor odgovara DMA kontekstu koji dodjeljuje CSI2 RX upravljački program. Od 6 video čvorova, 4 se koriste za 4 IMX219 kamere, kao što je prikazano u topologiji medijske cijevi u nastavku:
Kao što je gore prikazano, medijski entitet 30102000.ticsi2rx ima 6 izvornih pločica, ali se koriste samo prve 4, svaka za jedan IMX219. Topologija medijske cijevi također se može grafički prikazati. Pokrenite sljedeću naredbu za generiranje točke file:
Zatim pokrenite donju naredbu na Linux host računalu za generiranje PNG datoteke file:
Slika 4-2 je slika generirana pomoću gore navedenih naredbi. Komponente u softverskoj arhitekturi slike 3-1 mogu se pronaći na ovom grafu.
Streaming s četiri kamere
Uz pravilno postavljen hardver i softver, aplikacije s više kamera mogu se pokretati iz korisničkog prostora. Za AM62A, ISP mora biti podešen kako bi se dobila dobra kvaliteta slike. Za upute o podešavanju ISP-a pogledajte Vodič za podešavanje AM6xA ISP-a. Sljedeći odjeljci predstavljaju primjere...ampprijenos podataka s kamere na zaslon, prijenos podataka s kamere na mrežu i pohranjivanje podataka s kamere na files.
Prijenos podataka kamere na zaslon
Osnovna primjena ovog sustava s više kamera je strujanje videa sa svih kamera na zaslon spojen na isti SoC. Slijedi primjer GStreamer cjevovodaampstreaminga četiri IMX219 na zaslon (brojevi video čvorova i v4l-subdev brojevi u cjevovodu vjerojatno će se mijenjati od ponovnog pokretanja do ponovnog pokretanja).
Prijenos podataka kamere putem Etherneta
Umjesto strujanja na zaslon spojen na isti SoC, podaci s kamere mogu se strujati i putem Etherneta. Prijemna strana može biti ili drugi AM62A/AM62P procesor ili glavno računalo. Slijedi primjerampstrujanja podataka kamere putem Etherneta (korištenjem dvije kamere radi jednostavnosti) (imajte na umu dodatak za enkoder koji se koristi u cjevovodu):
Sljedeći je bivšiampprijema podataka kamere i strujanja na zaslon na drugom AM62A/AM62P procesoru:
Pohranjivanje podataka kamere u Files
Umjesto strujanja na zaslon ili putem mreže, podaci kamere mogu se pohraniti lokalno files. Cjevovod u nastavku pohranjuje podatke svake kamere u file (korištenje dvije kamere kao npr.ampradi jednostavnosti).
Zaključivanje dubokog učenja s više kamera
AM62A je opremljen akceleratorom dubokog učenja (C7x-MMA) s do dva TOPS-a, koji su sposobni pokretati različite vrste modela dubokog učenja za klasifikaciju, detekciju objekata, semantičku segmentaciju i još mnogo toga. Ovaj odjeljak pokazuje kako AM62A može istovremeno pokretati četiri modela dubokog učenja na četiri različita videa s kamere.
Odabir modela
TI-jev EdgeAI-ModelZoo pruža stotine najsuvremenijih modela koji se pretvaraju/izvoze iz svojih izvornih okvira za obuku u format prilagođen ugrađenim sustavima kako bi se mogli prenijeti u akcelerator dubokog učenja C7x-MMA. Edge AI Studio Model Analyzer, baziran na oblaku, pruža jednostavan alat za "odabir modela". Dinamički se ažurira kako bi uključio sve modele koje podržava TI EdgeAI-ModelZoo. Alat ne zahtijeva prethodno iskustvo i pruža jednostavno sučelje za unos značajki potrebnih u željenom modelu.
Za ovaj eksperiment dubokog učenja s više kamera odabran je TFL-OD-2000-ssd-mobV1-coco-mlperf. Ovaj model detekcije više objekata razvijen je u TensorFlow okviru s ulaznom rezolucijom od 300×300. Tablica 4-1 prikazuje važne značajke ovog modela kada je obučen na cCOCO skupu podataka s oko 80 različitih klasa.
Tablica 4-1. Istaknute značajke modela TFL-OD-2000-ssd-mobV1-coco-mlperf.
Model | Zadatak | Rezolucija | FPS | mAP 50%
Točnost na COCO-u |
Latencija/Okvir (ms) | DDR BW
Iskorištenost (MB/okvir) |
TFL-OD-2000-ssd-
mobV1-coco-mlperf |
Detekcija više objekata | 300×300 | ~152 | 15.9 | 6.5 | 18.839 |
Postavljanje cjevovoda
Slika 4-3 prikazuje GStreamer cjevovod dubokog učenja s 4 kamere. TI pruža paket GStreamera plugins koji omogućuju preusmjeravanje dijela obrade medija i zaključivanja dubokog učenja na hardverske akceleratore. Neki npr.ampnekoliko ovih plugins uključuju tiovxisp, tiovxmultiscaler, tiovxmosaic i tidlinferer. Cjevovod na slici 4-3 uključuje sve potrebne plugins za višestruki GStreamer cjevovod za ulaze s 4 kamere, svaki s predprocesiranjem medija, zaključivanjem dubokog učenja i naknadnom obradom. Duplicirani plugins za svaku od putanja kamere složene su u grafu radi lakše demonstracije.
Dostupni hardverski resursi ravnomjerno su raspoređeni između četiri putanje kamere. Na primjer, AM62A sadrži dva multiskalera slike: MSC0 i MSC1. Cjevovod eksplicitno dodjeljuje MSC0 za obradu putanja kamere 1 i kamere 2, dok je MSC1 dodijeljen kameri 3 i kameri 4.
Izlaz četiriju cjevovoda kamera se smanjuje i spaja pomoću dodatka tiovxmosaic. Izlaz se prikazuje na jednom zaslonu. Slika 4-4 prikazuje izlaz četiriju kamera s modelom dubokog učenja koji izvodi detekciju objekata. Svaki cjevovod (kamera) radi na 30 FPS i ukupno 120 FPS.
Sljedeći je cijeli skript cjevovoda za slučaj upotrebe dubinskog učenja s više kamera prikazan na slici 4-3.
Analiza izvedbe
Postavka s četiri kamere koje koriste V3Link ploču i AM62A SK testirana je u raznim scenarijima primjene, uključujući izravno prikazivanje na ekranu, streaming preko Etherneta (četiri UDP kanala), snimanje na 4 odvojena... files, i s dubokim učenjem. U svakom eksperimentu pratili smo brzinu sličica u sekundi i iskorištenost CPU jezgri kako bismo istražili mogućnosti cijelog sustava.
Kao što je prethodno prikazano na slici 4-4, cjevovod dubokog učenja koristi dodatak tiperfoverlay GStreamer za prikaz opterećenja jezgre CPU-a kao stupčastog grafikona na dnu zaslona. Prema zadanim postavkama, grafikon se ažurira svake dvije sekunde kako bi se opterećenja prikazala kao postotak iskorištenosti.tage. Uz dodatak tiperfoverlay GStreamer, alat perf_stats je druga opcija za prikaz performansi jezgre izravno na terminalu s mogućnošću spremanja u fileOvaj alat je točniji u usporedbi s tTiperfoverlayom jer potonji dodaje dodatno opterećenje ARMm jezgrama i DDR-u za crtanje grafa i njegovo preklapanje na zaslonu. Alat perf_stats uglavnom se koristi za prikupljanje rezultata iskorištenja hardvera u svim testnim slučajevima prikazanim u ovom dokumentu. Neke od važnih procesorskih jezgri i akceleratora proučavanih u ovim testovima uključuju glavne procesore (četiri A53 Arm jezgre na 1.25 GHz), akcelerator dubokog učenja (C7x-MMA na 850 MHz), VPAC (ISP) s VISS-om i multiskalerima (MSC0 i MSC1) te DDR operacije.
Tablica 5-1 prikazuje performanse i iskorištenost resursa pri korištenju AM62A s četiri kamere za tri slučaja upotrebe, uključujući strujanje četiri kamere na zaslon, strujanje putem Etherneta i snimanje na četiri odvojene kamere. fileU svakom slučaju upotrebe implementirana su dva testa: samo s kamerom i s inferencijom dubokog učenja. Osim toga, prvi redak u Tablici 5-1 prikazuje iskorištenost hardvera kada je na AM62A radio samo operativni sustav bez ikakvih korisničkih aplikacija. To se koristi kao osnova za usporedbu pri procjeni iskorištenosti hardvera u ostalim testnim slučajevima. Kao što je prikazano u tablici, četiri kamere s dubokim učenjem i prikazom na zaslonu radile su pri 30 FPS svaka, s ukupno 120 FPS za četiri kamere. Ova visoka brzina kadrova postignuta je sa samo 86% punog kapaciteta akceleratora dubokog učenja (C7x-MMA). Osim toga, važno je napomenuti da je akcelerator dubokog učenja u ovim eksperimentima radio na 850 MHz umjesto 1000 MHz, što je samo oko 85% njegovih maksimalnih performansi.
Tablica 5-1. Performanse (FPS) i iskorištenost resursa AM62A kada se koristi s 4 IMX219 kamere za prikaz na zaslonu, Ethernet stream, snimanje na Files i izvođenje dubokog učenja inferenciranja
Applicatio n | Cjevovod (rad
) |
Izlaz | FPS prosječni cjevovod s | FPS
ukupno |
MPU-ovi A53 @ 1.25
GHz [%] |
MCU R5 [%] | DLA (C7x-MMA) @ 850
MHz [%] |
VISS [%] | MSC0 [%] | MSC1 [%] | DDR
Put [MB/s] |
DDR
Wr [MB/s] |
DDR
Ukupno [MB/s] |
Nema aplikacije | Osnovna vrijednost Nema operacije | NA | NA | NA | 1.87 | 1 | 0 | 0 | 0 | 0 | 560 | 19 | 579 |
Fotoaparat samo | Stream na ekran | Zaslon | 30 | 120 | 12 | 12 | 0 | 70 | 61 | 60 | 1015 | 757 | 1782 |
Stream putem Etherneta | PDU: 4
portovi 1920×1080 |
30 | 120 | 23 | 6 | 0 | 70 | 0 | 0 | 2071 | 1390 | 3461 | |
Snimiti do files | 4 file1920×1080 | 30 | 120 | 25 | 3 | 0 | 70 | 0 | 0 | 2100 | 1403 | 3503 | |
Cam s dubokim učenjem | Duboko učenje: Detekcija objekata MobV1- coco | Zaslon | 30 | 120 | 38 | 25 | 86 | 71 | 85 | 82 | 2926 | 1676 | 4602 |
Duboko učenje: Detekcija objekata MobV1-coco i streaming preko Etherneta | PDU: 4
portovi 1920×1080 |
28 | 112 | 84 | 20 | 99 | 66 | 65 | 72 | 4157 | 2563 | 6720 | |
Duboko učenje: Detekcija objekata MobV1 - coco i snimanje u files | 4 file1920×1080 | 28 | 112 | 87 | 22 | 98 | 75 | 82 | 61 | 2024 | 2458 | 6482 |
Sažetak
Ovo izvješće o primjeni opisuje kako implementirati aplikacije s više kamera na AM6x obitelji uređaja. U izvješću je prikazan referentni dizajn temeljen na Arducamovom V3Link Camera Solution Kitu i AM62A SK EVM-u, s nekoliko aplikacija kamere koje koriste četiri IMX219 kamere, kao što su streaming i detekcija objekata. Korisnici se potiču da nabave V3Link Camera Solution Kit od Arducama i repliciraju ove primjere.amples. Izvješće također pruža detaljnu analizu performansi AM62A pri korištenju četiri kamere u različitim konfiguracijama, uključujući prikaz na zaslonu, streaming putem Etherneta i snimanje na files. Također pokazuje sposobnost AM62A da paralelno izvodi zaključivanje dubokog učenja na četiri odvojena toka kamere. Ako postoje bilo kakva pitanja o pokretanju ovih primjerakaamples, pošaljite upit na TI E2E forumu.
Reference
- Kratki vodič za početni komplet AM62A EVM
- Vodič za brzi početak ArduCam V3Link rješenja za kameru
- Dokumentacija Edge AI SDK-a za AM62A
- Pametne kamere s Edge AI tehnologijom koje koriste energetski učinkovit procesor AM62A
- Sustavi zrcalnih kamera na AM62A
- Sustavi za nadzor vozača i prisutnosti na AM62A
- Aplikacija za četverokanalnu kameru za surround View i CMS sustavi kamera
- AM62Ax Linux akademija o omogućavanju CIS-2 senzora
- Edge AI ModelZoo
- Edge AI Studio
- Alat Perf_stats
TI dijelovi na koje se referira u ovoj primjeni:
- https://www.ti.com/product/AM62A7
- https://www.ti.com/product/AM62A7-Q1
- https://www.ti.com/product/AM62A3
- https://www.ti.com/product/AM62A3-Q1
- https://www.ti.com/product/AM62P
- https://www.ti.com/product/AM62P-Q1
- https://www.ti.com/product/DS90UB960-Q1
- https://www.ti.com/product/DS90UB953-Q1
- https://www.ti.com/product/TDES960
- https://www.ti.com/product/TSER953
VAŽNA OBAVIJEST I ODRICANJE OD ODGOVORNOSTI
TI PRUŽA TEHNIČKE PODATKE I PODATKE O POUZDANOSTI (UKLJUČUJUĆI LISTE PODATAKA), RESURSE ZA DIZAJN (UKLJUČUJUĆI REFERENTNE DIZAJNE), APLIKACIJE ILI DRUGE SAVJETE O DIZAJNU, WEB ALATI, INFORMACIJE O SIGURNOSTI I DRUGI RESURSI "KAKVI JESU" I SA SVIM GREŠKAMA, TE SE ODRIČE SVIH JAMSTAVA, IZRIČITIH I IMPLICITNIH, UKLJUČUJUĆI, BEZ OGRANIČENJA, BILO KOJA IMPLICIRANA JAMSTVA PRODAJE, PRIKLADNOSTI ZA ODREĐENU SVRHU ILI NEKRŠENJA ZAŠTITA PRAVA INTELEKTUALNOG VLASNIŠTVA TREĆIH OSOBA .
Ovi resursi namijenjeni su vještim programerima koji dizajniraju s TI proizvodima. Vi ste isključivo odgovorni za
- odabir odgovarajućih TI proizvoda za vašu primjenu,
- projektiranje, provjera valjanosti i testiranje vaše aplikacije, i
- osiguravanje da vaša aplikacija ispunjava primjenjive standarde i sve ostale sigurnosne, zaštitne, regulatorne ili druge zahtjeve.
Ovi resursi podložni su promjenama bez prethodne najave. TI vam dopušta korištenje ovih resursa samo za razvoj aplikacije koja koristi TI proizvode opisane u resursu. Druga reprodukcija i prikaz ovih resursa je zabranjeno. Ne dodjeljuje se nikakva licenca za bilo koje drugo pravo intelektualnog vlasništva TI-a ili za bilo koje pravo intelektualnog vlasništva treće strane. TI se odriče odgovornosti za bilo kakve zahtjeve, štete, troškove, gubitke i obveze koje proizlaze iz vaše upotrebe ovih resursa, a vi ćete u potpunosti obeštetiti TI i njegove predstavnike od tih zahtjeva.
TI-jevi proizvodi podliježu TI-jevim Uvjetima prodaje ili drugim primjenjivim uvjetima dostupnima na ti.com ili isporučen zajedno s takvim TI proizvodima. Pružanje ovih resursa od strane TI-a ne proširuje niti na drugi način mijenja primjenjiva jamstva ili odricanje od jamstva za TI-jeve proizvode.
TI se protivi i odbija sve dodatne ili drugačije uvjete koje ste predložili.
VAŽNA OBAVIJEST
- Poštanska adresa: Texas Instruments, poštanski pretinac 655303, Dallas, Texas 75265
- Autorska prava © 2024, Texas Instruments Incorporated
Često postavljana pitanja
P: Mogu li koristiti bilo koju vrstu kamere s AM6x obitelji uređaja?
Obitelj AM6x podržava različite vrste kamera, uključujući one sa ili bez ugrađenog ISP-a. Za više detalja o podržanim vrstama kamera pogledajte specifikacije.
Koje su glavne razlike između AM62A i AM62P u obradi slike?
Ključne varijacije uključuju podržane vrste kamera, izlazne podatke kamere, prisutnost ISP HWA-a, Deep Learning HWA-a i 3-D Graphics HWA-a. Detaljnu usporedbu potražite u odjeljku sa specifikacijama.
Dokumenti / Resursi
![]() |
Texas Instruments AM6x razvija više kamera [pdf] Korisnički priručnik AM62A, AM62P, AM6x Razvijanje više kamera, AM6x, Razvijanje više kamera, Više kamera, Kamera |