Texas Instruments AM6x Ho Hlahisa Likh'amera tse ngata

Litlhaloso

• Lebitso la Sehlahisoa: AM6x lelapa la lisebelisoa
• Mofuta oa Khamera e Tšehetsoeng: AM62A (Ka kapa ntle le ISP e kentsoeng), AM62P (Ka ISP e hahiloeng)
• Lintlha tse hlahisoang ke khamera: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
• ISP HWA: AM62A (Ee), AM62P (Che)
• Thuto e Tebileng HWA: AM62A (E), AM62P (Che)
• Litšoantšo tsa 3-D HWA: AM62A (Che), AM62P (E)

Kenyelletso ea Likopo tsa Likhamera tse ngata ho AM6x:

• Lik'hamera tse kentsoeng li bapala karolo ea bohlokoa lits'ebetsong tsa sejoale-joale tsa pono.
• Ho sebelisa lik'hamera tse ngata tsamaisong ho ntlafatsa bokhoni le ho etsa hore mesebetsi e ke keng ea finyelloa ka khamera e le 'ngoe.

Lisebelisoa tse Sebelisang lik'hamera tse ngata:

• Tlhokomelo ea Tšireletso: E matlafatsa ts'ebetso ea boithuto, ho lata lintho, le ho nepahala ha kananelo.
• Potoloha View: E nolofalletsa pono ea stereo bakeng sa mesebetsi e kang ho lemoha litšitiso le mano a ntho.
• Rekotara ea Khabin le Sistimi ea Seipone sa Khamera: E fana ka tšireletso e atolositsoeng le ho felisa matheba a foufetseng.
• Sets'oants'o sa Bongaka: E fana ka ts'ebetso e ntlafalitsoeng ea ho tsamaisa ka opereishene le endoscopy.
• Drones le Setšoantšo sa Aerial: Nka litšoantšo tsa boemo bo holimo ho tsoa likhutlong tse fapaneng bakeng sa lits'ebetso tse fapaneng.

Ho hokahanya lik'hamera tse ngata tsa CSI-2 ho SoC:
Ho hokela lik'hamera tse ngata tsa CSI-2 ho SoC, latela litataiso tse fanoeng bukeng ea mosebelisi. Netefatsa tekano e nepahetseng le khokahano ea kh'amera e 'ngoe le e' ngoe ho likou tse khethiloeng ho SoC.

Tlhokomeliso ea Kopo
Ho Ntlafatsa Lits'ebetso tsa Likhamera tse ngata ho AM6x

Jianzhong Xu, Qutaiba Saleh

TS'ELISO
Tlaleho ena e hlalosa nts'etsopele ea ts'ebeliso e sebelisang lik'hamera tse ngata tsa CSI-2 ho lelapa la lisebelisoa tsa AM6x. Moralo oa litšupiso oa ho lemoha ntho ka thuto e tebileng ho likhamera tse 4 ho AM62A SoC e hlahisoa ka tlhahlobo ea ts'ebetso. Melao-motheo e akaretsang ea moralo e sebetsa ho li-SoC tse ling tse nang le sebopeho sa CSI-2, joalo ka AM62x le AM62P.

Selelekela

Lik'hamera tse kentsoeng li bapala karolo ea bohlokoa lits'ebetsong tsa morao-rao tsa pono. Ho sebelisa lik'hamera tse ngata tsamaisong ho eketsa bokhoni ba litsamaiso tsena le ho nolofalletsa bokhoni bo ke keng ba khoneha ka k'hamera e le 'ngoe. Ka tlase ke ba bang ba examplintlha tse ling tsa lisebelisoa tse sebelisang lik'hamera tse ngata tse kentsoeng:

• Tlhokomelo ea Ts'ireletso: Lik'hamera tse ngata tse behiloeng ka mokhoa o hlophisitsoeng li fana ka ts'ireletso e felletseng ea tlhahlobo. Ba lumella panoramic views, fokotsa matheba a foufetseng, le ho ntlafatsa ho nepahala ha ho lateloa ha ntho le ho lemoha, ho ntlafatsa mehato ea ts'ireletso ka kakaretso.
• Potoloha View: Ho sebelisoa lik'hamera tse ngata ho theha tlhophiso ea pono ea stereo, e nolofalletsang tlhahisoleseling ea mahlakore a mararo le khakanyo ea botebo. Sena se bohlokoa bakeng sa mesebetsi e kang ho lemoha litšitiso likoloing tse ikemetseng, ho thetsa lintho ka nepo ho liroboto, le 'nete e ntlafalitsoeng ea liphihlelo tsa nnete tse netefalitsoeng.
• Cabin Recorder le Camera Mirror System: Sehatisi sa kamore ea likoloi se nang le lik'hamera tse ngata se ka fana ka tšireletso e eketsehileng ho sebelisa processor e le 'ngoe. Ka mokhoa o ts'oanang, tsamaiso ea seipone ea khamera e nang le lik'hamera tse peli kapa ho feta e ka atolosa tšimo ea mokhanni oa view le ho felisa libaka tse foufetseng mahlakoreng 'ohle a koloi.
• Litšoantšo tsa Bongaka: Lik'hamera tse ngata li ka sebelisoa litšoantšong tsa bongaka bakeng sa mesebetsi e kang ho tsamaea ka opereishene, ho fana ka lingaka tse buoang maikutlo a mangata bakeng sa ho nepahala ho ntlafetseng. Ho endoscopy, lik'hamera tse ngata li thusa ho hlahloba ka botlalo litho tsa ka hare.
• Drones le Litšoantšo tsa Aerial: Hangata li-drones li tla li na le lik'hamera tse ngata ho nka litšoantšo kapa livideo tse nang le liqeto tse phahameng ho tloha mahlakoreng a fapaneng. Sena se na le thuso lits'ebetsong tse kang ho nka lifoto ka sefofane, tlhahlobo ea temo le tlhahlobo ea mobu.
• Ka tsoelo-pele ea li-microprocessors, lik'hamera tse ngata li ka kopanngoa ho System-on-Chip e le 'ngoe.
  (SoC) ho fana ka tharollo e sebetsang le e sebetsang. AM62Ax SoC, e nang le ts'ebetso e phahameng ea video / pono le ho potlakisa ho ithuta ka botebo, ke sesebelisoa se loketseng linyeoe tsa ts'ebeliso tse boletsoeng ka holimo. Sesebelisoa se seng sa AM6x, AM62P, se hahiloe bakeng sa ts'ebetso e phahameng ea ts'ebetso ea 3D e kentsoeng. E na le ho potlakisa lits'oants'o tsa 3D, AM62P e ka kopanya litšoantšo habonolo ho tsoa ho lik'hamera tse ngata mme ea hlahisa pono e phahameng ea qeto. view. Likarolo tse ncha tsa AM62A/AM62P SoC li hlahisitsoe likhatisong tse fapaneng, joalo ka [4], [5], [6], joalo-joalo. Tlaleho ea kopo e ke ke ea pheta litlhaloso tseo tsa likarolo empa ho e-na le hoo e shebane le ho kopanya lik'hamera tse ngata tsa CSI-2 ho likopo tsa pono tse kentsoeng ho AM62A/AM62P.
• Letlapa la 1-1 le bonts'a phapang e kholo lipakeng tsa AM62A le AM62P mabapi le ts'ebetso ea litšoantšo.

Lethathamo la 1-1. Phapang lipakeng tsa AM62A le AM62P ho Ts'ebetso ea Litšoantšo

SoC	AM62A	AM62P
Mofuta oa Khamera o Tšehetsoeng	Ka kapa ntle le ISP e hahiloeng kahare	Ka ISP e hahiloeng kahare
Data Output Data	E tala/YUV/RGB	YUV/RGB
ISP HWA	Ee	Che
Ho Ithuta ka Tebile HWA	Ee	Che
3-D Graphics HWA	Che	Ee

Ho hokahanya lik'hamera tse ngata tsa CSI-2 ho SoC
The Subsystem ea Khamera ho AM6x SoC e na le likarolo tse latelang, joalo ka ha ho bonts'itsoe ho Setšoantšo sa 2-1:

• MIPI D-PHY Receiver: e amohela melapo ea video ho tsoa ho lik'hamera tsa kantle, e ts'ehetsa ho fihla ho 1.5 Gbps ka lane ea data bakeng sa litselana tse 4.
• CSI-2 Receiver (RX): e amohela melapo ea video ho tsoa ho moamoheli oa D-PHY mme e ka romella melapo ka kotloloho ho ISP kapa e lahlela data mohopolong oa DDR. Mojule ona o tšehetsa likanale tse ka bang 16.
• SHIM: sekoahelo sa DMA se nolofalletsang ho romella melapo e hapiloeng mohopolong ka DMA. Maemo a mangata a DMA a ka etsoa ke sekoaelo sena, 'me moelelo ka mong o tsamaellana le mocha oa sebele oa CSI-2 Receiver.

Lik'hamera tse ngata li ka tšehetsoa ho AM6x ka tšebeliso ea mechine ea sebele ea CSI-2 RX, le hoja ho na le sebopeho se le seng sa CSI-2 RX ho SoC. Karolo ea kantle ea CSI-2 e kopantseng e ea hlokahala ho kopanya melapo e mengata ea lik'hamera le ho li romella ho SoC e le 'ngoe. Mefuta e 'meli ea tharollo ea CSI-2 aggregating e ka sebelisoa, e hlalositsoeng likarolong tse latelang.

CSI-2 Aggregator Ho Sebelisa SerDes
Mokhoa o mong oa ho kopanya melapo e mengata ea lik'hamera ke ho sebelisa tharollo ea serializing le deserializing (SerDes). Lintlha tsa CSI-2 tse tsoang k'hamerang e 'ngoe le e' ngoe li fetoloa ke serializer ebe li fetisoa ka mohala. Deserializer e amohela lintlha tsohle tse fetisitsoeng ho tsoa likhoeleng (thapo e le 'ngoe ka k'hamera), e fetolela melapo ho data ea CSI-2, ebe e romela molatsoana oa CSI-2 o kopaneng ho sebopeho se le seng sa CSI-2 RX ho SoC. Phallo e 'ngoe le e' ngoe ea khamera e khetholloa ka mocha o ikhethang oa sebele. Tharollo ena e kopanyang e fana ka molemo o eketsehileng oa ho lumella khokahano ea sebaka se selelele ho fihla ho 15m ho tloha lik'hamera ho ea ho SoC.

FPD-Link kapa V3-Link serializers le deserializers (SerDes), e tšehelitsoeng ho AM6x Linux SDK, ke mekhoa e tsebahalang haholo ea mofuta ona oa tharollo ea CSI-2 e kopanyang. Ka bobeli li-deserializers tsa FPD-Link le V3-Link li na le liteishene tse ka morao tse ka sebelisoang ho romella matšoao a khokahano ea foreimi ho hokahanya lik'hamera tsohle, joalo ka ha ho hlalositsoe ho [7].
Setšoantšo sa 2-2 se bontša example ea ho sebelisa SerDes ho hokahanya lik'hamera tse ngata ho AM6x SoC e le 'ngoe.

Mohlankanaample ea tharollo ena aggregating e ka fumanoa Arducam V3Link Camera Tharollo Kit. Setsi sena se na le hub ea deserializer e kopanyang melapo ea khamera ea 4 CSI-2, hammoho le lipara tse 4 tsa V3link serializers le lik'hamera tsa IMX219, ho kenyeletsoa likhoele tsa coaxial tsa FAKRA le likhoele tse 22 tsa FPC. Moralo oa litšupiso o tla tšohloa hamorao o hahiloe holim'a khiti ena.

CSI-2 Aggregator ntle le ho Sebelisa SerDes
Mofuta ona oa aggregator o ka hokahanya ka kotloloho le lik'hamera tse ngata tsa MIPI CSI-2 mme o kopanye data ho tsoa ho lik'hamera tsohle ho ea ho phallo e le 'ngoe ea CSI-2.

Setšoantšo sa 2-3 se bontša exampea tsamaiso e joalo. Mofuta ona oa tharollo ea aggregating ha e sebelise serializer / deserializer leha e le efe empa e lekanyelitsoe ke sebaka se seholo sa ho fetisetsa data ea CSI-2, e leng ho fihlela ho 30cm. AM6x Linux SDK ha e tšehetse mofuta ona oa CSI-2 aggregator

Ho nolofalletsa lik'hamera tse ngata ho software

Khamera Subsystem Software Architecture
Setšoantšo sa 3-1 se bonts'a setšoantšo sa li-block tsa boemo bo phahameng ba software ea tsamaiso ea lik'hamera ho AM62A/AM62P Linux SDK, e lumellanang le tsamaiso ea HW ho Setšoantšo sa 2-2.

• Moralo ona oa software o thusa SoC ho amohela melapo e mengata ea lik'hamera ka ts'ebeliso ea SerDes, joalo ka ha ho bonts'itsoe ho Setšoantšo sa 2-2. FPD-Link/V3-Link SerDes e fana ka aterese e ikhethang ea I2C le mocha oa sebele ho khamera ka 'ngoe. Sekoahelo se ikhethileng sa sefate sa sesebelisoa se lokela ho etsoa ka aterese e ikhethang ea I2C bakeng sa khamera e 'ngoe le e 'ngoe. Mokhanni oa CSI-2 RX o lemoha kh'amera e 'ngoe le e' ngoe a sebelisa nomoro e ikhethang ea mocha 'me a theha maemo a DMA ka har'a kh'amera e ngoe le e ngoe. Node ea video e etselitsoe moelelo o mong le o mong oa DMA. Lintlha tse tsoang khamera e 'ngoe le e 'ngoe li amoheloa ebe li bolokoa ho sebelisoa DMA mohopolong ka nepo. Lisebelisoa tsa sebaka sa basebelisi li sebelisa li-node tsa video tse tsamaellanang le kh'amera ka 'ngoe ho fihlella data ea khamera. ExampLintlha tsa ho sebelisa meralo ea software li fanoe Khaolong ea 4 - Reference Design.
• Mokhanni ofe kapa ofe oa sensor ea ikhethileng ea lumellanang le moralo oa V4L2 a ka koala le ho bapala mohahong ona. Sheba [8] mabapi le mokhoa oa ho kenyelletsa mokhanni oa sensor e ncha ho Linux SDK.

Mehaho ea Software ea Pipeline

• AM6x Linux SDK e fana ka moralo oa GStreamer (GST), o ka sebelisoang sebakeng sa ser ho kopanya likarolo tsa ts'ebetso ea litšoantšo bakeng sa lits'ebetso tse fapaneng. Li-Hardware Accelerators (HWA) ho SoC, joalo ka Vision Pre-processing Accelerator (VPAC) kapa ISP, video encoder/decoder, le enjine e tebileng ea komporo ea ho ithuta, li fumaneha ka GST. plugins. VPAC (ISP) ka boeona e na le li-blocks tse ngata, ho kenyeletsa Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), le Multiscalar (MSC), e 'ngoe le e' ngoe e tsamaellanang le plugin ea GST.
• Setšoantšo sa 3-2 se bonts'a sets'oants'o sa "block diagram" ea phaephe ea setšoantšo se tloaelehileng ho tloha khamera ho ea ho khouto kapa botebong
  likopo tsa ho ithuta ho AM62A. Bakeng sa lintlha tse ling mabapi le phallo ea data ea ho qetela, sheba litokomane tsa EdgeAI SDK.

Bakeng sa AM62P, pipeline ea setšoantšo e bonolo ho feta hobane ha ho na ISP ho AM62P.

Ka node ea video e entsoeng bakeng sa k'hamera e 'ngoe le e' ngoe, phaephe ea setšoantšo e thehiloeng ho GStreamer e lumella ho sebetsana le mekhoa e mengata ea lik'hamera (e kopantsoeng ka sebopeho se tšoanang sa CSI-2 RX) ka nako e le 'ngoe. Moralo oa litšupiso o sebelisang GStreamer bakeng sa lits'ebetso tsa likhamera tse ngata o fanoe khaolong e latelang.

Moqapi oa Litšupiso

Khaolo ena e fana ka moralo oa litšupiso oa ho tsamaisa lits'ebetso tsa lik'hamera tse ngata ho AM62A EVM, ho sebelisa Arducam V3Link Camera Solution Kit ho hokahanya lik'hamera tsa 4 CSI-2 ho AM62A le ho sebetsa ho lemoha ntho bakeng sa lik'hamera tsohle tsa 4.

Lik'hamera tse ts'ehetsoeng
The Arducam V3Link kit e sebetsa le lik'hamera tse thehiloeng ho FPD-Link/V3-Link le lik'hamera tsa CSI-2 tse lumellanang le Raspberry Pi. Lik'hamera tse latelang li lekoa:

• D3 Engineering D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• Lik'hamera tsa IMX219 ka har'a Arducam V3Link Camera Solution Kit

Ho theha lik'hamera tse 'nè tsa IMX219
Latela litaelo tse fanoeng ho AM62A Starter Kit EVM Quick Start Guide ho theha SK-AM62A-LP EVM (AM62A SK) le ArduCam V3Link Camera Solution Quick Start Guide ho hokahanya lik'hamera ho AM62A SK ka V3Link kit. Etsa bonnete ba hore lithapo tsa likhoele tse feto-fetohang, lik'hamera, boto ea V3Link, le AM62A SK kaofela li hokahane hantle.

Setšoantšo sa 4-1 se bonts'a tlhophiso e sebelisitsoeng bakeng sa moralo oa litšupiso tlalehong ena. Likarolo tse kholo tsa setup li kenyelletsa:

• 1X SK-AM62A-LP EVM boto
• Boto ea adaptara ea 1X Arducam V3Link d-ch
• Cable ea FPC e kopanyang Arducam V3Link ho SK-AM62A
• Li-adapter tsa khamera tsa 4X V3Link (li-serializers)
• Lithapo tsa 4X RF tsa coaxial ho hokela li-serializer tsa V3Link ho V3Link d-ch kit.
• Likh'amera tsa 4X IMX219
• Lithapo tsa 4X CSI-2 22-pin ho hokela lik'hamera ho li-serializers
• Lithapo: thapo ea HDMI, USB-C ho matlafatsa SK-AM62A-LP le matla a 12V a tsoang bakeng sa V3Link d-ch kit)
• Likarolo tse ling tse sa bonts'itsoeng ho Setšoantšo sa 4-1: karete ea micro-SD, thapo ea micro-USB ho fihlella SK-AM62A-LP, le Ethernet bakeng sa ho phallela.

Ho lokisa lik'hamera le CSI-2 RX Interface
Seta software ho latela litaelo tse fanoeng ho Arducam V3Link Quick Start Guide. Kamora ho tsamaisa mongolo oa ho seta khamera, setup-imx219.sh, sebopeho sa khamera, sebopeho sa sebopeho sa CSI-2 RX, le litsela tse tsoang khamera ka 'ngoe ho ea ho node ea video e tsamaellanang li tla hlophisoa hantle. Ho entsoe li-video tse 'ne bakeng sa lik'hamera tse 'ne tsa IMX219. Taelo ea "v4l2-ctl -list-devices" e bonts'a lisebelisoa tsohle tsa video tsa V4L2, joalo ka ha ho bonts'itsoe ka tlase:

Ho na le li-node tsa video tse 6 le node e le 'ngoe ea media tlas'a tiscsi2rx. Node ka 'ngoe ea video e lumellana le moelelo oa DMA o fanoeng ke mokhanni oa CSI2 RX. Ho li-node tse 6 tsa video, tse 4 li sebelisoa bakeng sa lik'hamera tse 4 tsa IMX219, joalo ka ha ho bonts'itsoe ho topology ea lipeipi tsa media ka tlase:

Joalokaha ho bontšitsoe ka holimo, setsi sa mecha ea litaba 30102000.ticsi2rx se na le li-pads tsa mohloli tse 6, empa ke tse 4 feela tsa pele tse sebelisoang, e 'ngoe le e' ngoe bakeng sa IMX219 e le 'ngoe. Topoloji ea liphaephe tsa media le eona e ka bonts'oa ka litšoantšo. Etsa taelo e latelang ho hlahisa letheba file:

Ebe u tsamaisa taelo e ka tlase ho PC e amohelang Linux ho hlahisa PNG file:

Setšoantšo sa 4-2 ke setšoantšo se entsoeng ka ho sebelisa litaelo tse fanoeng ka holimo. Likarolo tsa meralo ea software ea Setšoantšo sa 3-1 li ka fumanoa ho graph ena.

E phallela ho tsoa ho likhamera tse 'ne
Ka bobeli hardware le software li ntse li hlophisoa hantle, lik'hamera tse ngata li ka sebetsa ho tloha sebakeng sa mosebedisi. Bakeng sa AM62A, ISP e tlameha ho hlophisoa ho hlahisa boleng bo botle ba setšoantšo. Sheba ho AM6xA ISP Tuning Guide bakeng sa mokhoa oa ho lokisa ISP. Likarolo tse latelang li hlahisa mohlalaamptse ling tsa ho hasanya data ea khamera ponts'o, ho phallela data ea khamera ho netweke, le ho boloka data ea khamera ho files.

Phallela Data Data ho Bontša
Ts'ebeliso ea mantlha ea sistimi ena ea likhamera tse ngata ke ho tsamaisa livideo ho tsoa ho lik'hamera tsohle ho ea ponts'ong e hokahantsoeng le SoC e tšoanang. Se latelang ke phaephe ea GStreamer exampLeano la ho phallela li-IMX219 tse 'ne ho ponts'o (linomoro tsa node ea video le linomoro tsa v4l-subdev tse pompong li kanna tsa fetoha ho tloha ho qala bocha ho ea ho qala bocha).

Phallela data ea Khamera ka Ethernet
Sebakeng sa ho phallela ponts'ong e hokahantsoeng le SoC e tšoanang, data ea khamera le eona e ka tsamaisoa ka Ethernet. Lehlakore le amohelang e ka ba processor e 'ngoe ea AM62A/AM62P kapa PC e amohelang. Se latelang ke example ho tsamaisa data ea kh'amera ka Ethernet (ho sebelisa lik'hamera tse peli ho nolofatsa) (hlokomela plugin ea encoder e sebelisitsoeng pompong):

Se latelang ke example ea ho amohela data ea khamera le ho phallela ponts'o ho processor e 'ngoe ea AM62A/AM62P:

Ho boloka Lintlha tsa Khamera ho Files
Sebakeng sa ho phallela ponts'ong kapa ka marang-rang, data ea khamera e ka bolokoa sebakeng sa lehae files. Phaephe e ka tlase e boloka data ea khamera ka 'ngoe ho a file (ho sebelisa lik'hamera tse peli joalo ka mohlalaample bakeng sa bonolo).

Multicamera Deep Learning Inference

AM62A e na le accelerator e tebileng ea ho ithuta (C7x-MMA) e nang le TOPS e fihlang ho tse peli, tse khonang ho sebelisa mefuta e fapaneng ea mekhoa e tebileng ea ho ithuta bakeng sa ho arola, ho lemoha lintho, karohano ea semantic, le tse ling. Karolo ena e bontša kamoo AM62A e ka tsamaisang mefuta e mene ea ho ithuta e tebileng ka nako e le 'ngoe ho li-feed tse nne tse fapaneng tsa lik'hamera.

Khetho ea Mohlala
TI's EdgeAI-ModelZoo e fana ka makholo a mehlala ea morao-rao, e fetoloang / e romelloang ho tloha mefuteng ea eona ea pele ea koetliso ho ea ho sebopeho se nang le botsoalle e le hore se ka theoleloa ho C7x-MMA e potlakileng ea ho ithuta. Edge AI Studio Model Analyzer e thehiloeng marung e fana ka sesebelisoa sa "Model Selection" se bonolo ho se sebelisa. E ntlafalitsoe ka matla ho kenyelletsa mefuta eohle e tšehetsoeng ho TI EdgeAI-ModelZoo. Sesebelisoa ha se hloke boiphihlelo bo fetileng mme se fana ka sebopeho se bonolo ho se sebelisa ho kenya likarolo tse hlokahalang mofuteng o lakatsehang.

TFL-OD-2000-ssd-mobV1-coco-mlperf e khethiloe bakeng sa teko ena ea ho ithuta e tebileng ea lik'hamera tse ngata. Moetso ona oa ho lemoha lintho tse ngata o nts'etsopele ka har'a moralo oa TensorFlow ka tharollo ea 300×300 ea ho kenya letsoho. Letlapa la 4-1 le bonts'a likarolo tsa bohlokoa tsa mohlala ona ha o koetlisoa ka dataset ea cCOCO e nang le lihlopha tse ka bang 80 tse fapaneng.

Lethathamo la 4-1. Totobatsa Likarolo tsa Mohlala oa TFL-OD-2000-ssd-mobV1-coco-mlperf.

Mohlala	Mosebetsi	Qeto	FPS	mAP 50% Ho nepahala Hoa COCO	Latency/Frame (ms)	DDR BW Tšebeliso (MB/ Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Ho lemoha lintho tse ngata	300x300	~152	15.9	6.5	18.839

Tlhophiso ea Pipeline
Setšoantšo sa 4-3 se bonts'a phaephe ea ho ithuta e tebileng ea likhamera tse 4 tsa GStreamer. TI e fana ka sehlopha sa GStreamer plugins e lumellang ho theola tse ling tsa ts'ebetso ea mecha ea litaba le mohopolo o tebileng oa ho ithuta ho li-accelerator tsa hardware. Ba bang ba examptse nyane tsa tsena plugins kenyeletsa tiovxisp, tiovxmultiscaler, tiovxmosaic, le tidlinferer. Pipeline ho Setšoantšo sa 4-3 e kenyelletsa tsohle tse hlokahalang plugins bakeng sa phaephe ea litsela tse ngata tsa GStreamer bakeng sa likenyelletso tsa kh'amera tse 4, e 'ngoe le e' ngoe e na le ts'ebetso ea media, mohopolo o tebileng oa ho ithuta, le postprocess. E kopitsoang plugins bakeng sa e 'ngoe le e' ngoe ea litsela tsa khamera li kenngoa ka har'a kerafo bakeng sa pontšo e bonolo.
Lisebelisoa tse fumanehang tsa hardware li ajoa ka ho lekana har'a litsela tse 'nè tsa lik'hamera. Mohlala, AM62A e na le li-multiscale tsa litšoantšo tse peli: MSC0 le MSC1. Pipe e fana ka MSC0 ka ho hlaka ho sebetsana le khamera ea 1 le litsela tsa khamera ea 2, ha MSC1 e nehetsoe ho khamera ea 3 le khamera ea 4.

Sephetho sa liphaephe tse 'nè tsa lik'hamera se theoleloa fatše' me se kopanngoa hammoho ho sebelisoa plugin ea tiovxmosaic. Sephetho se hlahisoa skrineng se le seng. Setšoantšo sa 4-4 se bonts'a tlhahiso ea lik'hamera tse 'nè tse nang le mohlala o tebileng oa ho ithuta o tsamaisang ho lemoha ntho. Phaephe e 'ngoe le e 'ngoe (khamera) e sebetsa ho 30 FPS le kakaretso ea 120 FPS.

E latelang ke mongolo o felletseng oa liphaephe bakeng sa nyeoe ea tšebeliso e tebileng ea likhamera tse ngata e bontšitsoeng ho Setšoantšo sa 4-3.

Tlhahlobo ea Ts'ebetso

Ho hlophisoa ka lik'hamera tse 'nè ho sebelisa boto ea V3Link le AM62A SK ho ile ha lekoa ka maemo a sa tšoaneng a kopo, ho kenyelletsa le ho bonts'a ka ho toba skrineng, ho phallela holim'a Ethernet (liteishene tse' nè tsa UDP), ho rekota ho 4 e arohaneng. files, le maikutlo a tebileng a ho ithuta. Tekong e 'ngoe le e 'ngoe, re ile ra beha leihlo sekhahla sa foreimi le ts'ebeliso ea li-cores tsa CPU ho lekola bokhoni ba sistimi eohle.

Joalokaha ho bontšitsoe pele ho Setšoantšo sa 4-4, phala e tebileng ea ho ithuta e sebelisa plugin ea tiperfoverlay GStreamer ho bonts'a meroalo ea mantlha ea CPU joalo ka graph ea bar tlase skrineng. Ka mokhoa o ikhethileng, graph e nchafatsoa metsotsoana e meng le e meng e 'meli ho bonts'a meroalo e le liperesente tsa ts'ebelisotage. Ntle le plugin ea tiperfoverlay GStreamer, sesebelisoa sa perf_stats ke khetho ea bobeli ea ho bonts'a ts'ebetso ea mantlha ka kotloloho ho terminal ka khetho ea ho boloka. file. Sesebelisoa sena se nepahetse haholoanyane ha se bapisoa le tTiperfoverlayas ea morao-rao e eketsa mojaro o eketsehileng holim'a li-cores tsa ARMm le DDR ho hula graph le ho e koahela skrineng. Perf_stats sesebelisoa se sebelisoa haholo ho bokella liphetho tsa ts'ebeliso ea Hardware maemong ohle a liteko a bontšitsoeng tokomaneng ena. Tse ling tsa li-cores tsa bohlokoa tsa ts'ebetso le li-accelerator tse ithutoang litekong tsena li kenyelletsa li-processor tsa mantlha (li-A53 Arm cores @ 1.25GHz), accelerator e tebileng ea ho ithuta (C7x-MMA @ 850MHz), VPAC (ISP) e nang le VISS le multiscaler (MSC0 le MSC1), le ts'ebetso ea DDR.

Letlapa la 5-1 le bonts'a ts'ebetso le ts'ebeliso ea lisebelisoa ha o sebelisa AM62A e nang le lik'hamera tse 'ne bakeng sa linyeoe tse tharo tsa ts'ebeliso, ho kenyelletsa le ho phallela likhamera tse' ne ho ponts'o, ho phallela holim'a Ethernet, le ho rekota ho tse 'ne tse arohaneng. files. Liteko tse peli li kengoa ts'ebetsong boemong bo bong le bo bong ba ts'ebeliso: ka kh'amera feela le ka boithuto bo tebileng ba ho ithuta. Ntle le moo, mola oa pele ho Lethathamo la 5-1 o bonts'a ts'ebeliso ea lisebelisoa ha sistimi e sebetsang feela e ne e sebetsa ho AM62A ntle le lits'ebetso tsa mosebelisi. Sena se sebelisoa e le motheo oa ho bapisa le ha ho lekoa tšebeliso ea lisebelisoa tsa linyeoe tse ling tsa liteko. Joalokaha ho bontšitsoe tafoleng, lik'hamera tse 'nè tse nang le thuto e tebileng le pontšo ea skrine li sebetsa ho 30 FPS e' ngoe le e 'ngoe, ka kakaretso ea 120 FPS bakeng sa lik'hamera tse 'nè. Sekhahla sena se phahameng sa foreimi se fihlelleha ka 86% feela ea sekhahla sa ho ithuta se tebileng (C7x-MMA) se felletseng. Ntle le moo, ho bohlokoa ho hlokomela hore sekhahla sa ho ithuta se tebileng se ts'oaroe ho 850MHz sebakeng sa 1000MHz litekong tsena, e leng feela 85% ea ts'ebetso ea eona e phahameng.

Lethathamo la 5-1. Tshebetso (FPS) le Tšebeliso ea Lisebelisoa tsa AM62A ha e sebelisoa le Lik'hamera tse 4 tsa IMX219 bakeng sa Screen Display, Ethernet Stream, Rekota ho Files, le Ho Etsa Boithuto bo tebileng ba ho Ithuta

Sesebelisoa n	Pipeline (ts'ebetso )	Sephetho	FPS phaephe e mahareng s	FPS kakaretso	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Kakaretso [MB/s]
Ha ho App	Baseline Ha ho ts'ebetso	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Khamera feela	Phallela ho Screen	Skrine	30	120	12	12	0	70	61	60	1015	757	1782
	Tsamaisa ka Ethernet	PDU: 4 likou 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Rekota ho files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Kham ka thuto e tebileng	Thuto e tebileng: Ho lemoha ntho MobV1- coco	Skrine	30	120	38	25	86	71	85	82	2926	1676	4602
	Thuto e tebileng: Ho lemoha ntho MobV1- coco le ho phallela ka Ethernet	PDU: 4 likou 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Thuto e tebileng: Ho lemoha ntho MobV1- coco le ho rekota ho files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Kakaretso
Tlaleho ea ts'ebeliso ena e hlalosa mokhoa oa ho kenya ts'ebetso ea likhamera tse ngata ho lelapa la lisebelisoa tsa AM6x. Moqapi oa litšupiso o thehiloeng ho Arducam's V3Link Camera Solution Kit le AM62A SK EVM e fanoe tlalehong, e nang le lisebelisoa tse 'maloa tsa lik'hamera tse sebelisang lik'hamera tse' nè tsa IMX219, tse kang ho phallela le ho lemoha ntho. Basebelisi ba khothaletsoa ho fumana V3Link Camera Solution Kit ho tsoa ho Arducam le ho etsisa tsena tsa peleamples. Tlaleho e boetse e fana ka tlhahlobo e qaqileng ea ts'ebetso ea AM62A ha e ntse e sebelisa lik'hamera tse 'nè tlas'a tlhophiso e fapaneng, ho kenyelletsa ho bonts'a skrineng, ho phallela holim'a Ethernet, le ho rekota ho files. E boetse e bonts'a bokhoni baAM62A'sA ba ho etsa boithuto bo tebileng ba ho ithuta ho melapo e mene e arohaneng ea khamera ka ho bapisa. Haeba ho na le lipotso mabapi le ho tsamaisa li-ex tsenaampLes, fana ka potso ho TI E2E foramo.

Litšupiso

1. AM62A Starter Kit EVM Tataiso ea ho Qala ka Potlako
2. ArduCam V3Link Camera Tharollo Tataiso ea ho Qala Kapele
3. Litokomane tsa Edge AI SDK tsa AM62A
4. Lik'hamera tse bohlale tsa Edge AI tse Sebelisang Sesebelisoa sa AM62A se Senyang Matla
5. Sistimi ea seipone sa khamera ho AM62A
6. Lits'ebetso tsa Tlhokomelo ea Bakhanni le Mosebetsi ho AM62A
7. Kopo ea Khamera ea Quad bakeng sa Potoloho View le CMS Camera Systems
8. AM62Ax Linux Academy mabapi le ho nolofalletsa Sensor ea CIS-2
9. Edge AI ModelZoo
10. Edge AI Studio
11. Perf_stats sesebelisoa

Likarolo tsa TI tse boletsoeng Tlhokomelisong ena ea Kopo:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

TSEBISO LE BOHLOKOA

TI E FANA KA DATA YA MOSEBETSI OA TŠEBELETSO LE HO TŠEPAHALA (HO KAKARETSOA LE LIPAKENG TSA LITŠOANTŠISO), MESEBETSI EA HO HLAHALA (HO TSEBA LE MERARO EA TŠEBELETSO), KOPO KAPA KELETSO E MONG EA TLHALOSO, WEB LITHUTO, LITSEBISO TSA TŠEBELETSO, LE MESEBETSI E MONG “JALO KA HA E LE” LE KA LIPHOSO TSOHLE, LE E IKONELA LITIISETSO TSOHLE, TSE BOLELANG LE TSE BOLELANG, HO kenyeletsoa ntle le MOEDI LITIISETSO TSE FELENG TSA BORARO TSA THEKISO, HO LOKELA MOSEBETSI OA MOSEBETSI OA MOHOLO. LITHOELO LETLOTLO .

Lisebelisoa tsena li etselitsoe bahlahisi ba nang le litsebo ba qapang ka lihlahisoa tsa TI. Ke uena feela ea ikarabellang bakeng sa

1. ho khetha lihlahisoa tse nepahetseng tsa TI bakeng sa kopo ea hau,
2. ho rala, ho netefatsa, le ho leka kopo ea hau, le
3. ho netefatsa hore kopo ea hau e kopana le litekanyetso tse sebetsang, le litlhokahalo life kapa life tse ling tsa polokeho, ts'ireletso, taolo kapa litlhoko tse ling.

Lisebelisoa tsena li ka fetoha ntle le tsebiso. TI e u lumella ho sebelisa lisebelisoa tsena molemong oa ho etsa kopo e sebelisang lihlahisoa tsa TI tse hlalositsoeng mohloding. Ho haneloa ka tlhahiso e 'ngoe le ho bonts'a lisebelisoa tsena. Ha ho laesense e fuoang tokelo efe kapa efe ea thepa ea mahlale ea TI kapa tokelo efe kapa efe ea thepa ea mahlale ea motho e mong. TI ha e na boikarabello bakeng sa, 'me u tla qosa TI le baemeli ba eona ka botlalo khahlanong le liqoso life kapa life, lits'enyehelo, litjeo, tahlehelo le mekoloto e bakoang ke ts'ebeliso ea hau ea lisebelisoa tsena.

Lihlahisoa tsa TI li fanoe ho latela Melao ea Thekiso ea TI kapa lipehelo tse ling tse sebetsang tse fumanehang ka ti.com kapa e fanoeng mmoho le lihlahisoa tse joalo tsa TI. Tokisetso ea TI ea lisebelisoa tsena ha e atolohe kapa e fetola litiisetso tse sebetsang tsa TI kapa boithorollo ba tiisetso bakeng sa lihlahisoa tsa TI.

TI e hana le ho hana mantsoe afe kapa afe a tlatsetso kapa a fapaneng ao e ka 'nang eaba u a khothalelitse.

BOHLOKOA TSEBISO

• Aterese ea Lengolo: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265
• Copyright © 2024, Texas Instruments Incorporated

Lipotso Tse Botsoang Hangata

P: A na nka sebelisa mofuta ofe kapa ofe oa khamera le lelapa la AM6x la lisebelisoa?

Lelapa la AM6x le ts'ehetsa mefuta e fapaneng ea lik'hamera, ho kenyelletsa le tse nang le ISP e hahiloeng kapa ntle le eona. Sheba litlhaloso bakeng sa lintlha tse ling mabapi le mefuta ea lik'hamera tse tšehetsoeng.

: Ke phapang efe e kholo lipakeng tsa AM62A le AM62P ts'ebetsong ea litšoantšo?

Liphetoho tsa bohlokoa li kenyelletsa mefuta ea lik'hamera tse tšehetsoeng, data ea tlhahiso ea lik'hamera, boteng ba ISP HWA, Deep Learning HWA, le 3-D Graphics HWA. Sheba karolo ea litlhaloso bakeng sa papiso e qaqileng.

 

Litokomane / Lisebelisoa

Lisebelisoa tsa Texas AM6x Ho Hlahisa Khamera e Mengata [pdf] Bukana ea Mosebelisi AM62A, AM62P, AM6x Ho hlahisa lik'hamera tse ngata, AM6x, ho hlahisa lik'hamera tse ngata, lik'hamera tse ngata, k'hamera.

Litšupiso

• Bukana ea Mosebelisi