AM6x a’ leasachadh ioma-chamara
“
Sònrachaidhean:
- Ainm Bathar: Teaghlach innealan AM6x
- Seòrsa Camara le Taic: AM62A (Le no às aonais ISP togte),
AM62P (Le ISP Togailte) - Dàta Toraidh Camara: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
- HWA an t-solaraiche seirbheis eadar-lìn: AM62A (Tha), AM62P (Chan eil)
- HWA Ionnsachaidh Domhainn: AM62A (Tha), AM62P (Chan eil)
- Grafaigean 3-mheudach HWA: AM62A (Chan eil), AM62P (Tha)
Stiùireadh airson cleachdadh bathar:
1. Ro-ràdh do Thagraidhean Ioma-Chamara air AM6x:
Tha pàirt chudromach aig camarathan leabaithe ann an siostaman lèirsinn an latha an-diugh.
Bidh cleachdadh iomadh camara ann an siostam a’ neartachadh comasan agus
a’ comasachadh ghnìomhan nach gabh a choileanadh le aon chamara.
2. Aplacaidean a’ cleachdadh iomadh camara:
- Faireachas Tèarainteachd: A’ neartachadh faireachas
còmhdach, tracadh nithean, agus cruinneas aithneachaidh. - Mun cuairt View: A’ comasachadh sealladh stereo airson gnìomhan
leithid lorg chnapan-starra agus làimhseachadh nithean. - Siostam Clàraidh Cabin agus Sgàthan Camara:
A’ toirt seachad còmhdach leudaichte agus a’ cur às do spotan dalla. - Dealbhan Meidigeach: A’ tabhann cruinneas nas fheàrr ann an
seòladh lannsaireachd agus endoscopy. - Drones agus Dealbhan Adhair: Glacadh
ìomhaighean àrd-rèiteachaidh bho dhiofar cheàrnan airson diofar
iarrtasan.
3. A’ ceangal iomadh camara CSI-2 ris an SoC:
Gus iomadh camara CSI-2 a cheangal ris an SoC, lean an stiùireadh
stiùiridhean a tha air an toirt seachad anns an leabhar-làimhe cleachdaiche. Dèan cinnteach gu bheil iad air an co-thaobhadh gu ceart agus
ceangal gach camara ris na puirt ainmichte air an SoC.
Ceistean Cumanta (FAQ):
C: An urrainn dhomh seòrsa sam bith de chamara a chleachdadh leis an teaghlach AM6x de
innealan?
A: Tha an teaghlach AM6x a’ toirt taic do dhiofar sheòrsaichean camara, nam measg
an fheadhainn le no às aonais ISP togte. Thoir sùil air na sònrachaidhean airson
barrachd fiosrachaidh mu na seòrsaichean camarathan a tha a’ faighinn taic.
C: Dè na prìomh eadar-dhealachaidhean eadar AM62A agus AM62P a thaobh
giullachd ìomhaighean?
A: Am measg nan atharrachaidhean as cudromaiche tha seòrsachan camarathan a tha air an taiceadh, camarathan
dàta toraidh, làthaireachd HWA ISP, HWA Ionnsachaidh Domhainn, agus 3-D
HWA grafaigean. Thoir sùil air an earrann shònrachaidhean airson mion-fhiosrachadh.
coimeas.
“`
www.ti.com
Clàr-innse
Nota Iarrtais
A’ leasachadh thagraidhean ioma-chamara air AM6x
Jianzhong Xu, Qutaiba Saleh
ABSTRACT
Tha an aithisg seo a’ toirt cunntas air leasachadh aplacaidean a’ cleachdadh iomadh camara CSI-2 air teaghlach innealan AM6x. Tha dealbhadh fiosrachaidh airson lorg nithean le ionnsachadh domhainn air 4 camarathan air an AM62A SoC air a thaisbeanadh le mion-sgrùdadh coileanaidh. Tha prionnsapalan coitcheann an dealbhaidh a’ buntainn ri SoCan eile le eadar-aghaidh CSI-2, leithid AM62x agus AM62P.
Clàr-innse
1 Ro-ràdh……………………………………………………………………………………………………………………………………………………..2 2 A’ ceangal iomadh camara CSI-2 ris an SoC………………………………………………………………………………………………………… 3
2.1 Cruinneachaidh CSI-2 a’ cleachdadh SerDes……………………………………………………………………………………………………………………. 3 2.2 Cruinneachaidh CSI-2 gun a bhith a’ cleachdadh SerDes…………………………………………………………………………………………………………………….4 3 A’ comasachadh iomadh camara ann am bathar-bog…………………………………………………………………………………………………………..5 3.1 Ailtireachd bathar-bog fo-shiostam camara…………………………………………………………………………………………………… 5 3.2 Ailtireachd bathar-bog loidhne-phìoban Ìomhaigh………………………………………………………………………………………………………….. 5 4 Dealbhadh iomraidh………………………………………………………………………………………………………………………………. 7 4.1 Camaraichean a tha air an Taiceadh……………………………………………………………………………………………………………………………….. 7 4.2 A’ Stèidheachadh Ceithir Camaraichean IMX219………………………………………………………………………………………………………………..7 4.3 A’ Rèiteachadh Camaraichean agus Eadar-aghaidh CSI-2 RX……………………………………………………………………………………………………. 8 4.4 A’ Sruthadh bho Cheithir Camaraichean…………………………………………………………………………………………………………………………..10 4.5 Co-dhùnadh Ionnsachaidh Domhainn Ioma-chamara……………………………………………………………………………………………………………….. 12 5 Mion-sgrùdadh Coileanaidh………………………………………………………………………………………………………………………………. 16 6 Geàrr-chunntas…………………………………………………………………………………………………………………………………………. 18 7 Iomraidhean…………………………………………………………………………………………………………………………………………. 19
Comharran-malairt
Is ann leis an luchd-seilbh aca a tha na comharran-malairt uile.
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
1
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Ro-ràdh
www.ti.com
1 Ro-ràdh
Tha pàirt chudromach aig camarathan leabaithe ann an siostaman lèirsinn an latha an-diugh. Le bhith a’ cleachdadh iomadh camara ann an siostam, bidh comasan nan siostaman sin a’ leudachadh agus a’ comasachadh comasan nach gabh a dhèanamh le aon chamara. Seo cuid de eisimpleireanampcuid de na h-aplacaidean a bhios a’ cleachdadh iomadh camara leabaithe:
Faireachas Tèarainteachd: Bidh iomadh camara air an cur gu ro-innleachdail a’ toirt seachad craoladh faireachaidh coileanta. views, a’ lughdachadh spotan dalla, agus a’ neartachadh cruinneas tracadh is aithneachadh nithean,
a’ leasachadh cheumannan tèarainteachd san fharsaingeachd.
Mun cuairt ViewCleachdar iomadh camara gus suidheachadh lèirsinn stereo a chruthachadh, a’ comasachadh fiosrachadh trì-thaobhach agus tuairmse doimhneachd. Tha seo deatamach airson gnìomhan leithid lorg bhacaidhean ann an càraichean fèin-riaghlaidh.
carbadan, làimhseachadh mionaideach air nithean ann an innealan-fuadain, agus fìorachas nas fheàrr ann an eòlasan fìrinn leasaichte.
Clàraiche Caban is Siostam Sgàthan Camara: Faodaidh clàraiche caban càr le iomadh camara barrachd craolaidh a thoirt seachad le bhith a’ cleachdadh aon phròiseasar. San aon dòigh, faodaidh siostam sgàthan camara le dà chamara no barrachd leudachadh a dhèanamh air
raon an draibhear view agus cuir às do spotan dalla bho gach taobh de chàr.
Dealbhan Meidigeach: Faodar iomadh camara a chleachdadh ann an dealbhan meidigeach airson gnìomhan leithid seòladh lannsaireachd, a’ toirt iomadh sealladh do lannsairean airson cruinneas nas fheàrr. Ann an endoscopy, leigidh iomadh camara le sgrùdadh mionaideach
sgrùdadh air buill-bodhaig a-staigh.
Drones agus Dealbhan Adhair: Bidh drònaichean gu tric uidheamaichte le iomadh camara gus dealbhan no bhideothan àrd-rèiteachaidh a ghlacadh bho dhiofar cheàrnan. Tha seo feumail ann an tagraidhean leithid dealbhan-camara bhon adhar, àiteachas
sgrùdadh, agus sgrùdadh fearainn.
Le adhartas meanbh-phròiseasairean, faodar iomadh camara a thoirt a-steach do aon Siostam-air-Sliseag (SoC) gus fuasglaidhean teann is èifeachdach a thoirt seachad. Tha an AM62Ax SoC, le giullachd bhidio/seallaidh àrd-choileanaidh agus luathachadh ionnsachaidh domhainn, na inneal air leth freagarrach airson nan cùisean cleachdaidh a chaidh ainmeachadh gu h-àrd. Tha inneal AM6x eile, an AM62P, air a thogail airson tagraidhean taisbeanaidh 3D leabaithe àrd-choileanaidh. Uidheamaichte le luathachadh grafaigean 3D, faodaidh an AM62P na h-ìomhaighean bho iomadh camara a cheangal ri chèile gu furasta agus sealladh farsaing àrd-rùn a thoirt gu buil. viewChaidh feartan ùr-ghnàthach an AM62A/AM62P SoC a thaisbeanadh ann an grunn fhoillseachaidhean, leithid [4], [5], [6], msaa. Cha dèan an nota tagraidh seo ath-aithris air na tuairisgeulan air na feartan sin ach an àite sin bidh e ag amas air iomadh camara CSI-2 a thoirt a-steach do thagraidhean lèirsinn freumhaichte air AM62A/AM62P.
Tha Clàr 1-1 a’ sealltainn nam prìomh eadar-dhealachaidhean eadar AM62A agus AM62P a thaobh giullachd ìomhaighean.
Clàr 1-1. Eadar-dhealachaidhean eadar AM62A agus AM62P ann an giullachd ìomhaighean
SoC
AM 62A
AM 62P
Seòrsa Camara a tha a’ faighinn taic
Le no às aonais ISP togte
Le ISP togte a-steach
Dàta Toraidh Camara
Amh/YUV/RGB
YUV/RGB
HWA an t-solaraiche seirbheis eadar-lìn
Tha
Chan eil
HWA Ionnsachaidh Domhainn
Tha
Chan eil
Grafaigean 3-mheudach HWA
Chan eil
Tha
2
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
A’ ceangal iomadh camara CSI-2 ris an SoC
2 A’ ceangal iomadh camara CSI-2 ris an SoC
Tha na pàirtean a leanas anns an Fo-shiostam Camara air an AM6x SoC, mar a chithear ann am Figear 2-1:
Glacadair MIPI D-PHY: a’ faighinn sruthan bhidio bho chamarathan taobh a-muigh, a’ toirt taic do suas ri 1.5 Gbps gach sreath dàta airson 4 sreathan.
· Glacadair CSI-2 (RX): a’ faighinn sruthan bhidio bhon ghlacadair D-PHY agus an dàrna cuid a’ cur nan sruthan gu dìreach chun an t-solaraiche seirbheis eadar-lìn no a’ tilgeil an dàta gu cuimhne DDR. Tha am modúl seo a’ toirt taic do suas ri 16 seanalan brìgheil.
· SHIM: pasgan DMA a leigeas le sruthan glacte a bhith air an cur gu cuimhne thairis air DMA. Faodar iomadh co-theacsa DMA a chruthachadh leis a’ phasgan seo, le gach co-theacsa a’ freagairt ri seanail fhìor-dhealbhach den Ghlacadair CSI-2.
Làn dàta 0
ISP
MIPI
Làn dàta 1
CSI2 RX
D-PHY
Làn dàta 2
Glacadair
Làn dàta 3
Làn a' chloca
SHIM
Cuimhne DDR
Modalan fo-shiostam camara SoC AM62A/AM62P
Figear 2-1. Diagram Bloc Àrd-Ìre den Fho-shiostam Camara air SoC AM62A/AM62P
Faodar iomadh camara a chumail suas air an AM6x tro bhith a’ cleachdadh seanalan brìgheil de CSI-2 RX, eadhon ged nach eil ach aon eadar-aghaidh CSI-2 RX air an SoC. Tha feum air co-phàirt cruinneachaidh CSI-2 taobh a-muigh gus iomadh sruth camara a chur còmhla agus a chur gu aon SoC. Tha dà sheòrsa de fhuasglaidhean cruinneachaidh CSI-2 ann a ghabhas cleachdadh, air am mìneachadh anns na h-earrannan a leanas.
2.1 Cruinneachadh CSI-2 a’ cleachdadh SerDes
Is e aon dhòigh air iomadh sruth camara a chur còmhla fuasgladh sreathachaidh is dì-shreathachaidh (SerDes) a chleachdadh. Tha an dàta CSI-2 bho gach camara air a thionndadh le sreathaiche agus air a ghluasad tro chàball. Bidh an dì-shreathaiche a’ faighinn a h-uile dàta sreathach a chaidh a ghluasad bho na càbaill (aon chàball gach camara), ag atharrachadh nan sruthan air ais gu dàta CSI-2, agus an uairsin a’ cur a-mach sruth CSI-2 eadar-fhighte chun an eadar-aghaidh CSI-2 RX singilte air an SoC. Tha gach sruth camara air a chomharrachadh le seanal brìgheil sònraichte. Tha am fuasgladh cruinneachaidh seo a’ tabhann a’ bhuannachd a bharrachd le bhith a’ ceadachadh ceangal fad-astar suas ri 15m bho na camarathan chun SoC.
’S e na sreathairean is na dì-shreathairean FPD-Link no V3-Link (SerDes), a tha air an taiceadh ann an AM6x Linux SDK, na teicneòlasan as mòr-chòrdte airson an seòrsa seo de fhuasgladh cruinneachaidh CSI-2. Tha seanalan cùil aig an dà chuid dì-shreathairean FPD-Link agus V3-Link a ghabhas cleachdadh gus comharran sioncronaidh frèam a chuir gus na camarathan uile a shioncronachadh, mar a mhìnichear ann an [7].
Tha Figear 2-2 a’ sealltainn exampcothrom air na SerDes a chleachdadh gus iomadh camara a cheangal ri aon SoC AM6x.
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
3
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
A’ ceangal iomadh camara CSI-2 ris an SoC
Camara
Sreathaichear
Ionad Dì-shreathachaidh
www.ti.com
Camara Camara
Sreathaichear Sreathaichear
CSI-2 Tx
Oideas CSI-2
AM62A/ AM62P
SoC
Camara
Sreathaichear
Figear 2-2. A’ ceangal iomadh camara le bhith a’ cleachdadh SerDes
Tha exampGheibhear leth den fhuasgladh cruinneachaidh seo ann am Pasgan Fuasglaidh Camara Arducam V3Link. Tha mòr-ionad dì-sheireileachaidh sa phasgan seo a bhios a’ cruinneachadh 4 sruthan camara CSI-2, a bharrachd air 4 paidhrichean de shreathairean V3link agus camarathan IMX219, a’ gabhail a-steach càbaill co-axial FAKRA agus càbaill FPC 22-prìne. Tha an dealbhadh iomraidh air a dheasbad nas fhaide air adhart air a thogail air a’ phasgan seo.
2.2 Cruinneachadh CSI-2 gun a bhith a’ cleachdadh SerDes
Faodaidh an seòrsa cruinneachaidh seo eadar-aghaidh gu dìreach le iomadh camara MIPI CSI-2 agus an dàta bho na camarathan uile a chruinneachadh gu aon shruth toraidh CSI-2.
Tha Figear 2-3 a’ sealltainn exampsiostam mar sin. Chan eil an seòrsa fuasglaidh cruinneachaidh seo a’ cleachdadh sreathaichear/dì-shreathaichear ach tha e air a chuingealachadh leis an astar as motha airson gluasad dàta CSI-2, a tha suas ri 30cm. Chan eil an AM6x Linux SDK a’ toirt taic don t-seòrsa cruinneachaidh CSI-2 seo.
Ionad Dì-shreathachaidh
Camara
Oideas CSI-2
Camara Camara Camara
CSI-2 Rx CSI-2 Rx
CSI-2 Tx
Oideas CSI-2
Oideas CSI-2
AM62A/ AM62P
SoC
Figear 2-3. A’ ceangal iomadh camara le bhith a’ cleachdadh CSI-2 Aggregator
4
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
A’ comasachadh iomadh camara ann am bathar-bog
3 A’ comasachadh iomadh camara ann am bathar-bog
3.1 Ailtireachd Bathar-bog Fo-shiostam Camara
Tha Figear 3-1 a’ sealltainn diagram bloca àrd-ìre de bhathar-bog siostam glacaidh camara ann an AM62A/AM62P Linux SDK, a tha a’ freagairt ris an t-siostam bathar-cruaidh ann am Figear 2-2.
Aplacaidean luchd-cleachdaidh
Goireasan V4L2
Smachdadair nam meadhanan
Draibhear TI CSI2RX (SHIM, DMASS)
Draibhear Cadence CSI2 – RX
Cadence D – Draibhear PHY
Draibhear Dì-shreathachaidh
Draibhear Serializer
Draibhear mothachaidh camara
Frèam-obrach V4L2
Figear 3-1. Diagram Bloc Àrd-Ìre de Shiostam Glacaidh Camara a’ cleachdadh SerDes
Leigidh an ailtireachd bathar-bog seo leis an SoC iomadh sruth camara fhaighinn le bhith a’ cleachdadh SerDes, mar a chithear ann am Figear 2-2. Bidh an FPD-Link/V3-Link SerDes a’ sònrachadh seòladh I2C sònraichte agus seanal brìgheil do gach camara. Bu chòir còmhdach craobh innealan sònraichte a chruthachadh leis an t-seòladh I2C sònraichte airson gach camara. Bidh an draibhear CSI-2 RX ag aithneachadh gach camara a’ cleachdadh an àireamh seanail brìgheil sònraichte agus a’ cruthachadh co-theacsa DMA gach sruth camara. Tha nód bhidio air a chruthachadh airson gach co-theacsa DMA. Tha dàta bho gach camara an uairsin air fhaighinn agus air a stòradh a’ cleachdadh DMA chun chuimhne a rèir sin. Bidh tagraidhean àite luchd-cleachdaidh a’ cleachdadh nan nódan bhidio a tha a’ freagairt ri gach camara gus faighinn gu dàta a’ chamara. Mar eisimpleirampTha stiùiridhean airson an ailtireachd bathar-bog seo a chleachdadh air an toirt seachad ann an caibideil 4, dealbhadh fiosrachaidh.
Faodar draibhear mothachaidh sònraichte sam bith a tha a’ gèilleadh ri frèam-obrach V4L2 a phlugadh is a chleachdadh san ailtireachd seo. Thoir sùil air [8] a thaobh mar a chuireas tu draibhear mothachaidh ùr a-steach don Linux SDK.
3.2 Ailtireachd Bathar-bog Pìob-loidhne Ìomhaigh Tha an AM6x Linux SDK a’ toirt seachad frèam-obrach GStreamer (GST) a ghabhas cleachdadh ann an àite luchd-cleachdaidh gus na co-phàirtean giullachd ìomhaighean a thoirt a-steach airson diofar thagraidhean. Gheibhear cothrom air na Luathaichean Bathar-cruaidh (HWA) air an SoC, leithid an Luathaiche Ro-ghiullachd Lèirsinn (VPAC) no ISP, encoder/decoder bhidio, agus einnsean coimpiutaireachd ionnsachaidh domhainn, tro GST. pluginsTha iomadh bloc aig an VPAC (ISP) fhèin, nam measg Fo-shiostam Ìomhaigh Lèirsinn (VISS), Ceartachadh Saobhadh Lens (LDC), agus Multiscalar (MSC), agus gach fear dhiubh a’ freagairt ri plugan GST.
Tha Figear 3-2 a’ sealltainn diagram bloc de loidhne-phìoban ìomhaigh àbhaisteach bhon chamara gu aplacaidean còdaidh no ionnsachaidh domhainn air AM62A. Airson tuilleadh fiosrachaidh mun t-sruthadh dàta deireadh-gu-deireadh, thoir sùil air sgrìobhainnean SDK EdgeAI.
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
5
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
A’ comasachadh iomadh camara ann am bathar-bog
Smachd fèin-nochdaidh
Algairim 2A
Camara
v4l2src
GST plugins airson ISP
A’ còdachadh HWA
GST plugins airson Còdachadh
GST plugins airson Ionnsachadh Domhainn
www.ti.com
Iarrtasan sìos an abhainn
HWA an t-solaraiche seirbheis eadar-lìn
HWA Ionnsachaidh Domhainn
Plugan Gstreamer (GST) AM62A Luathaichear Bathar-cruaidh (HWA)
Figear 3-2. Pìob-loidhne Ìomhaigh Àbhaisteach AM62A a’ cleachdadh GStreamer Airson AM62P, tha am pìob-loidhne ìomhaighean nas sìmplidhe leis nach eil ISP air AM62P.
A’ còdachadh HWA
Camara
v4l2src
GST plugins airson Còdachadh
GST plugins airson Grafaigean 3-M
Iarrtasan sìos an abhainn
HWA Ionnsachaidh Domhainn
Plugan Gstreamer (GST) Luathaichear Bathar-cruaidh AM62P (HWA)
Figear 3-3. Pìob-loidhne Ìomhaigh AM62P àbhaisteach a’ cleachdadh GStreamer
Le nód bhidio air a chruthachadh airson gach aon de na camarathan, leigidh am pìob-loidhne ìomhaighean stèidhichte air GStreamer le bhith a’ giullachd iomadh cuir-a-steach camara (ceangailte tron aon eadar-aghaidh CSI-2 RX) aig an aon àm. Tha dealbhadh fiosrachaidh a’ cleachdadh GStreamer airson tagraidhean ioma-chamara ri fhaighinn san ath chaibideil.
6
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
Dealbhadh iomraidh
4 Dealbhadh Iomraidh
Tha an caibideil seo a’ taisbeanadh dealbhadh fiosrachaidh airson a bhith a’ ruith thagraidhean ioma-chamara air AM62A EVM, a’ cleachdadh Pasgan Fuasglaidh Camara Arducam V3Link gus 4 camarathan CSI-2 a cheangal ri AM62A agus lorg nithean a ruith airson nan 4 camarathan uile.
4.1 Camaraichean le taic
Bidh an inneal Arducam V3Link ag obair le camarathan stèidhichte air FPD-Link/V3-Link agus camarathan CSI-2 co-chòrdail ri Raspberry Pi. Chaidh na camarathan a leanas a dhearbhadh: · D3 Engineering D3RCM-IMX390-953 · Leopard Imaging LI-OV2312-FPDLINKIII-110H · Camarathan IMX219 ann am Pasgan Fuasglaidh Camara Arducam V3Link
4.2 A’ stèidheachadh ceithir camarathan IMX219
Lean an stiùireadh a tha air a thoirt seachad ann an AM62A Starter Kit EVM Quick Start Guild gus an SK-AM62A-LP EVM (AM62A SK) agus an ArduCam V3Link Camera Solution Quick Start Guide a stèidheachadh gus na camarathan a cheangal ri AM62A SK tron phasgan V3Link. Dèan cinnteach gu bheil na prìnichean air na càbaill sùbailte, na camarathan, bòrd V3Link, agus AM62A SK uile air an co-thaobhadh gu ceart.
Tha Figear 4-1 a’ sealltainn an t-suidheachaidh a chaidh a chleachdadh airson an dealbhaidh iomraidh san aithisg seo. Tha na prìomh phàirtean san t-suidheachadh a’ gabhail a-steach: · 1X bòrd EVM SK-AM62A-LP · 1X bòrd atharrachaidh d-ch Arducam V3Link · Càball FPC a’ ceangal Arducam V3Link ri SK-AM62A · 4X innealan-atharrachaidh camara V3Link (sreathaichean) · 4X càbaill co-axial RF gus sreathaichean V3Link a cheangal ri pasgan d-ch V3Link · 4X camarathan IMX219 · 4X càbaill CSI-2 22 prìne gus camarathan a cheangal ri sreathaichean · Càbaill: càball HDMI, USB-C gus cumhachd a thoirt do SK-AM62A-LP agus cumhachd 12V airson pasgan d-ch V3Link) · Pàirtean eile nach eil air an sealltainn ann am Figear 4-1: cairt micro-SD, càball micro-USB gus faighinn gu SK-AM62A-LP, agus
ethernet airson sruthadh
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
7
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Dealbhadh iomraidh
www.ti.com
Figear 4-1. Suidheachadh Bòrd V3link agus 4 Camaraichean a chaidh a chleachdadh anns an Dealbhadh Iomraidh
4.3 A’ rèiteachadh chamarathan agus eadar-aghaidh CSI-2 RX
Suidhich am bathar-bog a rèir an stiùiridh a tha air a thoirt seachad ann an Stiùireadh Tòiseachaidh Luath Arducam V3Link. Às dèidh dhut an sgriobt rèiteachaidh camara a ruith, thèid setup-imx219.sh, cruth nan camarathan, cruth eadar-aghaidh CSI-2 RX, agus na slighean bho gach camara chun an nód bhidio co-fhreagarrach a rèiteachadh gu ceart. Thèid ceithir nódan bhidio a chruthachadh airson nan ceithir camarathan IMX219. Bidh an àithne “v4l2-ctl –list-devices” a’ taisbeanadh nan innealan bhidio V4L2 uile, mar a chithear gu h-ìosal:
root@am62axx-evm:~# v4l2-ctl –liosta-innealan j721e-csi2rx (àrd-ùrlar:30102000.ticsi2rx):
/dev/bhidio2 /dev/bhidio3 /dev/bhidio4 /dev/bhidio5 /dev/bhidio6 /dev/bhidio7 /dev/media0
wave5-dec (àrd-ùrlar:wave5-dec): /dev/video0
wave5-enc (àrd-ùrlar: wave5-enc): /dev/video1
8
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
Dealbhadh iomraidh
Tha 6 nódan bhidio agus 1 nód meadhanan fo tiscsi2rx. Tha gach nód bhidio a’ freagairt ri co-theacsa DMA.
air a riarachadh leis an draibhear CSI2 RX. A-mach às na 6 nodan bhidio, thathas a’ cleachdadh 4 airson na 4 camarathan IMX219, mar a chithear ann an
topo-eòlas pìob nam meadhanan gu h-ìosal:
freumh@am62axx-evm:~# meadhanan-ctl -p
Topo-eòlas an inneil – eintiteas 1: 30102000.ticsi2rx (7 padaichean, 7 ceanglaichean, 4 slighean)
seòrsa V4L2 subdev fo-sheòrsa Brataichean neo-aithnichte 0 ainm nód inneil /dev/v4l-subdev0 slighean:
0/0 -> 1/0 [GNÌOMHACH] 0/1 -> 2/0 [GNÌOMHACH] 0/2 -> 3/0 [GNÌOMHACH] 0/3 -> 4/0 [GNÌOMHACH] pad0: Sink [stream:0 fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] [stream:1 fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] [stream:2 fmt:UYVY8_1X16/640×480 field:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] [stream:3 fmt:UYVY8_1X16/640×480 achadh:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] <- “cdns_csi2rx.30101000.csi-bridge”:1 [COMASACH,NEO-CHAOCHLACH] pad1: Stòr [stream:0 fmt:UYVY8_1X16/640×480 achadh:none colorspace:srgb xfer:srgb ycbcr:601 quantization:lim-range] -> “30102000.ticsi2rx co-theacsa 0”:0 [COMASACH,NEO-CHAOCHLACH] pad2: Stòr [stream:0 fmt:UYVY8_1X16/640×480 achadh:none colorspace:srgb xfer:srgb ycbcr:601 tomhais: raon-lim] -> “30102000.ticsi2rx co-theacsa 1”:0 [COMASACH, NEO-CHAOCHLASACH] pad3: Stòr [sruthadh:0 fmt:UYVY8_1X16/640×480 raon:gun dad colorspace:srgb xfer:srgb ycbcr:601 tomhais: raon-lim] -> “30102000.ticsi2rx co-theacsa 2”:0 [COMASACH, NEO-CHAOCHLASACH] pad4: Stòr [sruthadh:0 fmt:UYVY8_1X16/640×480 raon:gun dad colorspace:srgb xfer:srgb ycbcr:601 tomhais: raon-lim] -> “30102000.ticsi2rx co-theacsa 3”:0 [COMASACH, NEO-CHAOCHLASACH] pad5: Stòr -> “30102000.ticsi2rx co-theacsa 4”:0 [COMASACH,NEO-CHAOCHLACH] pad6: Stòr -> “co-theacsa 30102000.ticsi2rx 5″:0 [COMASACH,NEO-CHAOCHLACH]
Mar a chithear gu h-àrd, tha 30102000 padaichean stòr aig eintiteas meadhanan 2.ticsi6rx, ach chan eil ach a’ chiad 4 air an cleachdadh, gach fear airson aon IMX219. Faodar topo-eòlas pìob nam meadhanan a mhìneachadh gu grafaigeach cuideachd. Ruith an àithne a leanas gus dot a chruthachadh file:
root@am62axx-evm:~# meadhanan-ctl –clò-dot > meadhanan.dot
An uairsin ruith an àithne gu h-ìosal air PC aoigheachd Linux gus png a chruthachadh file:
$ dot -Tpng meadhanan-mullach.dot -o meadhanan-mullach.png
'S e dealbh a chaidh a chruthachadh le bhith a' cleachdadh nan òrdughan a chaidh a thoirt seachad gu h-àrd a th' ann am Figear 4-2. Gheibhear na pàirtean ann an ailtireachd bathar-bog Figear 3-1 sa ghraf seo.
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
9
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Dealbhadh iomraidh
Camaraichean Sreathail
Imx219 6-0010 /dev/v4l-subdev9
0
0 ds90ub953 4-0044 /dev/v41-subdev8
1
Imx219 7-0010 /dev/v4l-subdev5
0
0 ds90ub953 4-0045 /dev/v41-subdev3
1
Imx219 8-0010 /dev/v4l-subdev7
0
0 ds90ub953 4-0046 /dev/v41-subdev4
1
Ionad dì-shreathachaidh
0
1
2
3
ds90ub960 4-0030 /dev/v4l-subdev2
4
5
Drochaid D-PHY agus CSI-2 Rx
0
cdns_csi2rx.30101000.csi-bridge /dev/v4l-subdev1
1
2
3
4
TI CSI-2 RX (SHIM, DMASS)
0 30102000.ticsi2rx /dev/v4l-subdev0
1 23 4 5 6
www.ti.com
Imx219 9-0010 /dev/v4l-subdev10
0
0 ds90ub953 4-0047 /dev/v41-subdev6
1
30102000.ticsi2rx co-theacsa 0 /dev/video2
30102000.ticsi2rx co-theacsa /dev/video3
1text3010200/d0e.tvic/vsiid2erxo4context
2
30102000.ticsi2rx co-theacsa 3 /dev/video5
30102000.ticsi2rx co-theacsa 4 /dev/video6
30102000.ticsi2rx co-theacsa 5 /dev/video7
Nòdan bhidio: thathar a’ cleachdadh a’ chiad 4 nòdan, aon airson gach camara
Figear 4-2. Topo-eòlas Meadhanan Siostam Ioma-chamara
4.4 Sruthadh bho cheithir chamarathan
Le bathar-cruaidh is bathar-bog air an stèidheachadh gu ceart, faodaidh tagraidhean ioma-chamara ruith bhon àite cleachdaiche. Airson AM62A, feumar an ISP a ghleusadh gus càileachd ìomhaigh mhath a thoirt gu buil. Thoir sùil air an Stiùireadh Gleusaidh ISP AM6xA airson mar a nì thu gleusadh ISP. Tha na h-earrannan a leanas a’ taisbeanadh eisimpleireanampde bhith a’ sruthadh dàta camara gu taisbeanadh, a’ sruthadh dàta camara gu lìonra, agus a’ stòradh dàta a’ chamara gu files.
4.4.1 Sruthadh dàta camara chun taisbeanaidh
Is e prìomh chur an sàs an t-siostaim ioma-chamara seo bhideothan a shruthadh bho na camarathan uile gu taisbeanadh a tha ceangailte ris an aon SoC. Seo eisimpleir de loidhne-phìoban GStreamer.ample bhith a’ sruthadh ceithir IMX219 gu taisbeanadh (tha coltas ann gun atharraich àireamhan nód a’ bhidio agus àireamhan v4l-subdev sa phìob-loidhne bho ath-thòiseachadh gu ath-thòiseachadh).
gst-launch-1.0 v4l2src inneal=/dev/video2 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp sinc_0::inneal=/dev/v4l-subdev9 ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ ìomhaighean/imx219/dcc_viss_1920x1080.bin sinc_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a_1920x1080.bin cruth-msb=7 sink_0::meud-pool=8 src::meud-pool=8 ! bhidio/x-amh, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_0 v4l2src inneal=/dev/video3 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp sink_0::inneal=/dev/v4l-subdev5 ainm-sensor=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ ìomhaighean/imx219/dcc_viss_1920x1080.bin sinc_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a_1920x1080.bin cruth-msb=7 sinc_0::meud-pool=8 src::meud-pool=8 ! bhidio/x-amh, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_1 v4l2src inneal=/dev/video4 io-mode=5 ! bhidio/x-
10
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
Dealbhadh iomraidh
bayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp sinc_0::inneal=/dev/v4l-subdev7 ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ ìomhaighean/imx219/dcc_viss_1920x1080.bin sinc_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a_1920x1080.bin cruth-msb=7 sink_0::meud-pool=8 src::meud-pool=8 ! bhidio/x-amh, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_2 v4l2src inneal=/dev/video5 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp sink_0::inneal=/dev/v4l-subdev10 ainm-sensor=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ ìomhaighean/imx219/dcc_viss_1920x1080.bin sinc_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a_1920x1080.bin cruth-msb=7 sinc_0::meud-pool=8 src::meud-pool=8 ! bhidio/x-amh, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_3 tiovxmosaic ainm=mosaic sinc_0::startx=”<0>” sinc_0::starty=”<0>” sinc_0::widths=”<640>” sinc_0::heights=”<480>” sinc_1::startx=”<0>” sinc_1::starty=”<480>” sinc_1::widths=”<640>” sinc_1::heights=”<480>” sinc_2::startx=”<640>” sinc_2::starty=”<0>” sinc_2::widths=”<640>” sinc_2::heights=”<480>” sinc_3::startx=”<640>” sinc_3::starty=”<480>” sinc_3::widths=”<640>” sink_3::àirdean=”<480>” ! ciudha ! bhidio/x-amh, leud=1920, àirde=1080 ! kmssink ainm-draibhear=tidss sionc=meallta suidheachadh-feachd-mhodh=fìor
4.4.2 Sruthadh dàta camara tro Ethernet
An àite sruthadh gu taisbeanadh ceangailte ris an aon SoC, faodar dàta a’ chamara a shruthladh tron Ethernet cuideachd. Faodaidh an taobh a gheibh e a bhith na phròiseasar AM62A/AM62P eile no na PC aoigheachd. Seo eisimpleirampdòigh air dàta a’ chamara a shruthadh tron Ethernet (a’ cleachdadh dà chamara airson sìmplidheachd) (thoir an aire don plugan encoder a chaidh a chleachdadh sa phìob-loidhne):
gst-launch-1.0 v4l2src inneal=/dev/video2 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::inneal=/dev/v4l-subdev9 ! ciudha ! bhidio/x-amh,cruth=NV12,leud=1920,àirde=1080,ìre frèamaichean=30/1 ! v4l2h264enc ! rtph264pay ! udpsink port=5000 aoigh= inneal v4l2src=/dev/video3 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sinc_0::inneal=/dev/v4l-subdev5 ! ciudha ! bhidio/x-amh,cruth=NV12,leud=1920,àirde=1080,ìre frèamaichean=30/1 ! v4l2h264enc ! rtph264pay ! udpsink port=5001 aoigh=
Tha na leanas mar exampmar a gheibh thu dàta a’ chamara agus ga shruthadh gu taisbeanadh air pròiseasar AM62A/AM62P eile:
gst-launch-1.0 -v udpsrc port=5000 ! 'application/x-rtp, ainm-còdachadh=H264, luchd=96' ! rtph264depay ! avdec_h264 ! ciudha ! videoconvert ! ciudha ! bhidio/x-raw, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_0 udpsrc port=5001 ! 'application/x-rtp, ainm-còdachadh=H264, luchd=96' ! rtph264depay ! avdec_h264 ! ciudha ! videoconvert ! ciudha ! bhidio/x-raw, cruth=NV12, leud=1920, àirde=1080 ! ciudha ! mosaic.sink_1 tiovxmosaic ainm=mosaic sinc_0::startx=”<0>” sinc_0::starty=”<0>” sinc_0::widths=”<960>” sinc_0::heights=”<540>” sinc_1::startx=”<960>” sinc_1::starty=”<540>” sinc_1::widths=”<960>” sinc_1::heights=”<540>” ! ciudha ! kmssink ainm-draibhear=tidss sioncranachadh=meallta
4.4.3 A’ stòradh dàta camara gu Files
An àite a bhith ga shruthadh gu taisbeanadh no tro lìonra, faodar dàta a’ chamara a stòradh gu h-ionadail files. Bidh an loidhne-phìoban gu h-ìosal a’ stòradh dàta gach camara gu a file (a’ cleachdadh dà chamara mar eisimpleir)ampairson sìmplidheachd).
gst-launch-1.0 v4l2src inneal=/dev/video2 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::device=/dev/v4l-subdev9 !
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
11
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Dealbhadh iomraidh
www.ti.com
ciudha! bhidio/x-amh, cruth=NV12, leud=1920, àirde=1080, ìre frèamaichean=30/1 ! v4l2h264enc ! fileàite sinc=camcap-1.mp4 v4l2src inneal=/dev/video3 io-mode=5 ! bhidio/xbayer, leud=1920, àirde=1080, ìre frèamaichean=30/1, cruth=bggr ! ciudha aodionach=2 ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/opt/imaging/imx219/dcc_viss_1920x1080.bin sink_0::dcc-2a-file=/opt/imaging/imx219/dcc_2a_1920x1080.bin sink_0::inneal=/dev/v4l-subdev5 ! ciudha ! bhidio/x-amh,cruth=NV12,leud=1920,àirde=1080,ìre frèamaichean=30/1 ! v4l2h264enc ! fileàite an t-sinc = cam-cap-2.mp4
4.5 Co-dhùnadh Ionnsachaidh Domhainn Ioma-chamara
Tha luathaichear ionnsachaidh domhainn (C62x-MMA) aig AM7A le suas ri dà TOPS, a tha comasach air diofar sheòrsaichean de mhodalan ionnsachaidh domhainn a ruith airson seòrsachadh, lorg nithean, roinneadh brìghmhor, agus barrachd. Tha an earrann seo a’ sealltainn mar as urrainn dha AM62A ceithir modalan ionnsachaidh domhainn a ruith aig an aon àm air ceithir biadhan camara eadar-dhealaichte.
4.5.1 Taghadh Modail
Tha EdgeAI-ModelZoo aig TI a’ toirt seachad ceudan de mhodalan ùr-nodha a thèid a thionndadh/às-mhalairt bho na frèamaichean trèanaidh tùsail aca gu cruth càirdeil leabaithe gus an urrainnear an luchdachadh sìos chun luathaichear ionnsachaidh domhainn C7x-MMA. Tha inneal “Taghadh Modail” furasta a chleachdadh aig Edge AI Studio, stèidhichte air a’ sgòth. Tha e air ùrachadh gu dinamach gus a h-uile modal a tha air a thaiceadh ann an TI EdgeAI-ModelZoo a thoirt a-steach. Chan eil feum air eòlas roimhe airson an inneal agus tha e a’ toirt seachad eadar-aghaidh furasta a chleachdadh gus na feartan a tha a dhìth anns a’ mhodail a tha thu ag iarraidh a chuir a-steach.
Chaidh an TFL-OD-2000-ssd-mobV1-coco-mlperf a thaghadh airson an deuchainn ionnsachaidh domhainn ioma-chamara seo. Tha am modail lorg ioma-nì seo air a leasachadh ann am frèam Tensor Flow le rùn cuir-a-steach 300 × 300. Tha Clàr 4-1 a’ sealltainn prìomh fheartan a’ mhodail seo nuair a chaidh a thrèanadh air an t-seata dàta coco le timcheall air 80 clas eadar-dhealaichte.
Clàr 4-1. Prìomh fheartan a’ Mhodail TFL-OD-2000-ssd-mobV1-coco-mlperf.
Modail
Tasc
Fuasgladh
FPS
Cruinneas mAP 50% air COCO
Latency/Frèam (ms)
Cleachdadh DDR BW (MB/Frèam)
TFL-OD-2000-ssd-
Ioma-nì 300 × 300
~152
15.9
6.5
mobV1-coco-mlperf
Dearbhadh
18.839
4.5.2 Suidheachadh Pìob-loidhne
Tha Figear 4-3 a’ sealltainn loidhne-phìoban ionnsachaidh domhainn 4-chamara GStreamer. Tha TI a’ toirt seachad sreath de GStreamer plugins a leigeas le cuid den phròiseasadh meadhanan agus an co-dhùnadh ionnsachaidh domhainn a thoirt far na luathaichean bathar-cruaidh. cuid examples dhiubh sin plugins a’ gabhail a-steach tiovxisp, tiovxmultiscaler, tiovxmosaic, agus tidlinferer. Tha am pìob-loidhne ann am Figear 4-3 a’ gabhail a-steach a h-uile rud a tha riatanach plugins airson pìob-loidhne ioma-shlighe GStreamer airson cuir-a-steach 4-chamara, gach fear le ro-phròiseas meadhanan, co-dhùnadh ionnsachaidh domhainn, agus iar-phròiseas. An dùblachadh plugins airson gach aon de na slighean camara tha iad air an cruachadh sa ghraf airson taisbeanadh nas fhasa.
Tha na goireasan bathar-cruaidh a tha rim faighinn air an sgaoileadh gu cothromach am measg nan ceithir slighean camara. Mar eisimpleir, tha dà ioma-sgèilear ìomhaigh ann an AM62A: MSC0 agus MSC1. Tha am pìob-loidhne air MSC0 a choisrigeadh gu sònraichte airson slighean camara 1 agus camara 2 a phròiseasadh agus tha MSC1 air a choisrigeadh do chamara 3 agus camara 4.
12
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
CSI IMX219 Cam(1) Cam(2) Cam(3) Cam(4)
Luathaiche VISS
Luathaiche MSC
1920 × 1080
1920 × 1080
RGGB
NV12
Glacadh Cuir-a-steach
Buannachd Nochdaidh
v4l2src
tiovxisp
Sgèile agus Sgoltadh tiovxmultiscaler
1110 × 690 NV12
1110 × 690 NV12
ciudha
Luathaiche MSC
Sgèile tiovxmultiscaler
640 × 480 NV12
Luathaichear Ionnsachaidh Domhainn C7x/MMA
ciudha
Dealbhadh iomraidh
Luathaiche MSC
Sgèile tiovxmultiscaler
300 × 300 NV12
Ro-phròiseasadh tiovxdlpreproc
300 × 300 RGB
àm-chuairteachaidh
Iar-phròiseas tidlpostproc
Luathaichear DSS
Luathaiche MSC
192 × 1080
NV12 HDMI
Gus kmssink a thaisbeanadh
Coileanadh tiperfoverlay
Dealbhan Conc tiovxmosaic
4x640x480 NV12
Plugin GST ARM NEON Plugin GST air a bharrrachadh ARM Ionnsachadh Domhainn Ùine ruith
Plugin GST le Còd Iarrtais Luathaichear Bathar-cruaidh air coraichean ARM A53
Figear 4-3. Pìob-loidhne GStreamer airson Co-dhùnadh Ionnsachaidh Domhainn Camara Quad CSI IMX219 air AM62A
Tha toradh nan ceithir loidhnichean-phìoba camara air an lughdachadh agus air an ceangal ri chèile le bhith a’ cleachdadh plugan tiovxmosaic. Tha an toradh air a thaisbeanadh air aon sgrion. Tha Figear 4-4 a’ sealltainn toradh nan ceithir camarathan le modail ionnsachaidh domhainn a’ ruith lorg nithean. Tha gach loidhne-phìoba (camara) a’ ruith aig 30 FPS agus 120 FPS san iomlan.
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
13
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Dealbhadh iomraidh
www.ti.com
Figear 4-4. Dealbh-sgrìn de Cho-dhùnadh Ionnsachaidh Domhainn Lorgaidh Rudan Ceithir-chamara a’ cleachdadh AM62A le Còmhdach Coileanaidh Grafaigeach
Seo an ath rud an sgriobt làn-phìoban airson a’ chùis-chleachdaidh ionnsachaidh domhainn ioma-chamara a chithear ann am Figear 4-3.
gst-launch-1.0 -v v4l2src inneal=/dev/video2 io-mode=5 ! ciudha aodionach=2 ! bhidio/x-bayer, leud=1920, àirde=1080, cruth=rggb ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ìomhaighean/imx219/ dcc_viss.bin cruth-msb=7 sink_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a.bin sinc_0::inneal=/dev/ v4l-subdev2 ! bhidio/x-amh, cruth=NV12 ! tiovxmultiscaler targaid=0 ainm=split_01 split_01. ! ciudha ! bhidio/x-amh, leud=1110, àirde=690 ! tiovxmultiscaler targaid=0 ! bhidio/xraw, leud=300, àirde=300 ! tiovxdlpreproc seòrsa-dàta=3 òrdugh-sianal=1 cruth-tensor=rgb meud-pool=4 ! tagradh/x-tensor-tiovx ! iomradh-àm targaid=1 modail=/roghainn/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_0.tensor split_01. ! ciudha ! bhidio/x-amh, leud=640, àirde=360 ! post_0.sink tidlpostproc ainm=post_0 modail=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! ciudha ! mosaic_0. v4l2src inneal=/dev/video3 io-mode=5 ! ciudha aodionach=2 ! bhidio/x-bayer, leud=1920, àirde=1080, cruth=rggb ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ìomhaighean/imx219/ dcc_viss.bin cruth-msb=7 sink_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a.bin sinc_0::inneal=/dev/ v4l-subdev2 ! bhidio/x-amh, cruth=NV12 ! tiovxmultiscaler targaid=0 ainm=split_11 split_11. ! ciudha ! bhidio/x-amh, leud=1110, àirde=690 ! tiovxmultiscaler targaid=0 ! bhidio/xraw, leud=300, àirde=300 ! tiovxdlpreproc seòrsa-dàta=3 òrdugh-sianal=1 cruth-tensor=rgb meud-pool=4 ! tagradh/x-tensor-tiovx ! iomradh-àm targaid=1 modail=/roghainn/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_1.tensor split_11. ! ciudha ! bhidio/x-amh, leud=640, àirde=360 ! post_1.sink tidlpostproc ainm=post_1 modail=/opt/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 viz-threshold=0.600000 top-N=5 ! ciudha ! mosaic_0. v4l2src inneal=/dev/video4 io-mode=5 ! ciudha aodionach=2 ! bhidio/x-bayer, leud=1920, àirde=1080, cruth=rggb ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ìomhaighean/imx219/ dcc_viss.bin cruth-msb=7 sink_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a.bin sink_0::inneal=/dev/ v4l-subdev2 ! bhidio/x-amh, cruth=NV12 ! tiovxmultiscaler targaid=1 ainm=split_21 split_21. ! ciudha ! bhidio/x-amh, leud=1110, àirde=690 ! tiovxmultiscaler targaid=1 ! bhidio/xraw, leud=300, àirde=300 ! tiovxdlpreproc seòrsa-dàta=3 òrdugh-sianal=1 cruth-tensor=rgb meud-pool=4 ! tagradh/x-tensor-tiovx ! iomradh-àm targaid=1 modail=/roghainn/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_2.tensor split_21. ! ciudha ! bhidio/x-amh, leud=640, àirde=360 ! post_2.sink tidlpostproc ainm=post_2 modail=/roghainn/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 stairsneach-viz=0.600000 mullach-N=5 ! ciudha ! mosaic_0.
14
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
Dealbhadh iomraidh
inneal v4l2src=/dev/video5 io-mode=5 ! ciudha aodionach=2 ! bhidio/x-bayer, leud=1920, àirde=1080, cruth=rggb ! tiovxisp ainm-mothachaidh=SENSOR_SONY_IMX219_RPI dcc-isp-file=/roghainn/ìomhaighean/imx219/ dcc_viss.bin cruth-msb=7 sink_0::dcc-2a-file=/roghainn/ìomhaighean/imx219/dcc_2a.bin sink_0::inneal=/dev/ v4l-subdev2 ! bhidio/x-amh, cruth=NV12 ! tiovxmultiscaler targaid=1 ainm=split_31 split_31. ! ciudha ! bhidio/x-amh, leud=1110, àirde=690 ! tiovxmultiscaler targaid=1 ! bhidio/xraw, leud=300, àirde=300 ! tiovxdlpreproc seòrsa-dàta=3 òrdugh-sianal=1 cruth-tensor=rgb meud-pool=4 ! tagradh/x-tensor-tiovx ! iomradh-àm targaid=1 modail=/roghainn/model_zoo/TFL-OD-2000ssd-mobV1-coco-mlperf-300×300 ! post_3.tensor split_31. ! ciudha ! bhidio/x-amh, leud=640, àirde=360 ! post_3.sink tidlpostproc ainm=post_3 modail=/roghainn/model_zoo/TFL-OD-2000-ssd-mobV1-coco-mlperf-300×300 alpha=0.400000 stairsneach-viz=0.600000 mullach-N=5 ! ciudha ! mosaic_0. tiovxmosaic src::pool-size=3 name=mosaic_0 sink_0::startx=”<320>” sink_0::starty=”<180>” sink_0::widths=”<640>” sink_0::heights=”<360>” sink_1::startx=”<960>” sink_1::starty=”<180>” sink_1::widths=”<640>” sink_1::heights=”<360>” sink_2::startx=”<320>” sink_2::starty=”<560>” sink_2::widths=”<640>” sink_2::heights=”<360>” sink_3::startx=”<960>” sink_3::starty=”<560>” sink_3::widths=”<640>” sink_3::heights=”<360>” ! bhidio/x-raw,cruth=NV12, leud=1920, àirde=1080 ! ciudha ! tiperfoverlay tiotal=”AM62A: Lorgaireachd Rudan Camara Ceithir” ! kmssink sionc=meallta ainm-draibhear=tidss suidheachadh-modh-feachd=fìor
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
15
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Mion-sgrùdadh Coileanaidh
www.ti.com
5 Mion-sgrùdadh Coileanaidh
Chaidh an suidheachadh le ceithir camarathan a’ cleachdadh bòrd V3Link agus an AM62A SK a dhearbhadh ann an diofar shuidheachaidhean tagraidh, a’ gabhail a-steach taisbeanadh dìreach air scrion, sruthadh thairis air Ethernet (ceithir seanalan UDP), clàradh gu 4 camarathan fa leth. files, agus le co-dhùnadh ionnsachaidh domhainn. Anns gach deuchainn, rinn sinn sgrùdadh air an ìre frèam agus cleachdadh chridheachan CPU gus comasan an t-siostaim gu lèir a sgrùdadh.
Mar a chithear roimhe ann am Figear 4-4, bidh am pìob-loidhne ionnsachaidh domhainn a’ cleachdadh am plugan tiperfoverlay GStreamer gus luchdan cridhe CPU a shealltainn mar ghraf bàr aig bonn na sgrìn. Gu gnàthach, thèid a’ ghraf ùrachadh a h-uile dà dhiog gus na luchdan a shealltainn mar cheudad cleachdaidh.tage. A bharrachd air a’ plugan tiperfoverlay GStreamer, ’s e an inneal perf_stats an dàrna roghainn airson coileanadh nan coraichean a shealltainn gu dìreach air an teirminéal le roghainn airson a shàbhaladh gu… fileTha an inneal seo nas cruinne an taca ris an tiperfoverlay leis gu bheil an tè mu dheireadh a’ cur barrachd luchd air coraichean Arm agus an DDR gus an graf a tharraing agus a chòmhdach air an sgrion. Tha an inneal perf_stats air a chleachdadh sa mhòr-chuid gus toraidhean cleachdaidh bathar-cruaidh a chruinneachadh anns a h-uile cùis deuchainn a chithear san sgrìobhainn seo. Am measg cuid de na coraichean giullachd agus luathaichean cudromach a chaidh a sgrùdadh anns na deuchainnean seo tha na prìomh phròiseasairean (ceithir coraichean Arm A53 @ 1.25GHz), an luathaichear ionnsachaidh domhainn (C7x-MMA @ 850MHz), an VPAC (ISP) le VISS agus ioma-sgèilearan (MSC0 agus MSC1), agus obrachaidhean DDR.
Tha Clàr 5-1 a’ sealltainn coileanadh agus cleachdadh ghoireasan nuair a thathar a’ cleachdadh AM62A le ceithir camarathan airson trì cùisean cleachdaidh, a’ gabhail a-steach sruthadh ceithir camarathan gu taisbeanadh, sruthadh thairis air ethernet, agus clàradh gu ceithir camarathan fa leth. files. Tha dà dheuchainn air an cur an gnìomh anns gach cùis cleachdaidh: le camara a-mhàin agus le co-dhùnadh ionnsachaidh domhainn. A bharrachd air an sin, tha a’ chiad sreath ann an Clàr 5-1 a’ sealltainn cleachdadh bathar-cruaidh nuair a bha an siostam obrachaidh a-mhàin a’ ruith air AM62A gun aplacaidean cleachdaiche sam bith. Tha seo air a chleachdadh mar bhun-loidhne airson coimeas a dhèanamh an aghaidh nuair a thathar a’ measadh cleachdadh bathar-cruaidh nan cùisean deuchainn eile. Mar a chithear sa chlàr, bha na ceithir camarathan le ionnsachadh domhainn agus taisbeanadh sgrion ag obrachadh aig 30 FPS gach fear le 120 FPS gu h-iomlan airson nan ceithir camarathan. Tha an ìre frèam àrd seo air a choileanadh le dìreach 86% de làn chomas an luathaichear ionnsachaidh domhainn (C7x-MMA). A bharrachd air an sin, tha e cudromach a thoirt fa-near gun deach an luathaichear ionnsachaidh domhainn a chlocadh aig 850MHz an àite 1000MHz anns na deuchainnean seo, a tha dìreach mu 85% den choileanadh as àirde aige.
16
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
Mion-sgrùdadh Coileanaidh
Clàr 5-1. Coileanadh (FPS) agus Cleachdadh Goireasan AM62A nuair a thèid a chleachdadh le 4 Camaraichean IMX219 airson Taisbeanadh Sgrion, Sruth Ethernet, Clàradh gu Files, agus a’ dèanamh co-dhùnaidhean ionnsachaidh domhainn
Toradh Pìob-loidhne Iarrtais
n
(obrachadh
)
Cuibheasachd FPS Pìob-loidhne FPS iomlan
MPUan A53an @ 1.25 GHz [%]
MCU R5 [%]
DLA (C7xMMA) @ 850 MHz [%]
VISS [%]
MSC0 MSC1 DDR DDR DDR
[%] [%]Rd
Wr
Iomlan
[MB/s] [MB/s] [MB/s]Gun aplacaid
Bun-loidhne NA Gun obrachadh
NA
NA
1.87 1
0
0
0
0
560 19
579
Sruth Camara chun Sgrion 30
a-mhàin
Sgrion
120 12
12
0
70
61
60
1015 757 1782
UDP sruth: 4 30
120 23
6
0
70
0
0
2071 1390 3461
thairis
puirt
ethernet 1920 × 1080
Clàraich gu 4 files
30
120 25
3
0
70
0
0
2100 1403 3503
files
1920 × 1080
Cam le Doimhneachd
Sgrion 30
Doimhneachd
ionnsachadh:
Cuspair ionnsachaidh
bhrath
MobV1-
cnò-choille
120 38
25
86
71
85
82
2926 1676 4602
Ionnsachadh domhainn: Lorgaireachd nithean MobV1coco agus Sruth thairis air ethernet
UDP: 4 28 puirt 1920 × 1080
112 84
20
99
66
65
72
4157 2563 6720
Ionnsachadh domhainn: Lorgaireachd nithean MobV1coco agus clàradh gu files
4 files
28
1920 × 1080
112 87
22
98
75
82
61
2024 2458 6482
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
17
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
Geàrr-chunntas
www.ti.com
6 Geàrr-chunntas
Tha an aithisg tagraidh seo a’ toirt cunntas air mar a chuireas tu tagraidhean ioma-chamara an gnìomh air teaghlach innealan AM6x. Tha dealbhadh fiosrachaidh stèidhichte air Pasgan Fuasglaidh Camara V3Link Arducam agus AM62A SK EVM air a thoirt seachad san aithisg, le grunn thagraidhean camara a’ cleachdadh ceithir camarathan IMX219 leithid sruthadh agus lorg nithean. Thathar a’ brosnachadh luchd-cleachdaidh Pasgan Fuasglaidh Camara V3Link fhaighinn bho Arducam agus na h-eisimpleirean sin ath-riochdachadh.ampTha an aithisg cuideachd a’ toirt seachad mion-sgrùdadh air coileanadh AM62A fhad ’s a tha ceithir camarathan ga chleachdadh fo dhiofar rèiteachaidhean a’ gabhail a-steach taisbeanadh gu scrion, sruthadh thairis air Ethernet, agus clàradh gu files. Tha e cuideachd a’ sealltainn comas AM62A airson co-dhùnadh ionnsachaidh domhainn a dhèanamh air ceithir sruthan camara fa leth aig an aon àm. Ma tha ceistean sam bith ann mu bhith a’ ruith nan ex seoamples, cuir a-steach ceist aig fòram TI E2E.
18
A’ leasachadh thagraidhean ioma-chamara air AM6x
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
www.ti.com
7 Iomraidhean
1. Stiùireadh Tòiseachaidh Luath Pasgan Tòiseachaidh EVM AM62A 2. Stiùireadh Tòiseachaidh Luath Fuasgladh Camara ArduCam V3Link 3. Sgrìobhainnean SDK Edge AI airson AM62A 4. Camaraichean Smart Edge AI a’ cleachdadh Pròiseasar AM62A Èifeachdach a thaobh Lùtha 5. Siostaman Sgàthan Camara air AM62A 6. Siostaman Sgrùdaidh Draibhear is Àiteachaidh air AM62A 7. Iarrtas Camara Ceithir-sianal airson Timcheall View agus Siostaman Camara CMS 8. Acadamaidh Linux AM62Ax air a bhith a’ comasachadh mothachaidh CIS-2 9. Edge AI ModelZoo 10. Edge AI Studio 11. Inneal Perf_stats
Pàirtean TI air an ainmeachadh san tagradh seo Nota: · https://www.ti.com/product/AM62A7 · https://www.ti.com/product/AM62A7-Q1 · https://www.ti.com/product/AM62A3 · https://www.ti.com/product/AM62A3-Q1 · https://www.ti.com/product/AM62P · https://www.ti.com/product/AM62P-Q1 · https://www.ti.com/product/DS90UB960-Q1 · https://www.ti.com/product/DS90UB953-Q1 · https://www.ti.com/product/TDES960 · https://www.ti.com/product/TSER953
Iomraidhean
SPADH2 AN GEARRAN 2024 Cuir a-steach Sgrìobhainn Beachdan
A’ leasachadh thagraidhean ioma-chamara air AM6x
19
Dlighe-sgrìobhaidh © 2024 Texas Instruments Incorporated
FIOSRACHADH CUDROMACH AGUS SÒNRAICHTE
Tha TI a’ solarachadh dàta teignigeach is earbsach (a’ gabhail a-steach bileagan dàta), goireasan dealbhaidh (a’ gabhail a-steach dealbhadh AITHRIS), IARRTAS NO COMHAIRLE Dealbhaidh EILE, WEB Innealan, FIOSRACHADH SÀBHAILTEACHD, AGUS Goireasan EILE “MAR A THA” AGUS LEIS A H-UILE FÀILTE, AGUS A' SHÒNACHADH A H-UILE BARANTAS, SLÀINTE AGUS GNÌOMHACHAIS, A' gabhail a-steach BARANTAS AIRSON BHARANTAS GNÌOMHACHAS GUN CHUINGEACHADH, IONNSACHD AIRSON ADHARTACH SÒNRAICHTE NO A BHITH A' GABHAIL A-STEACH .
Tha na goireasan sin airson luchd-leasachaidh sgileil a tha a’ dealbhadh le toraidhean TI. Tha e an urra riut fhèin a-mhàin (1) na toraidhean TI iomchaidh a thaghadh airson an tagradh agad, (2) dealbhadh, dearbhadh agus deuchainn an tagraidh agad, agus (3) dèanamh cinnteach gu bheil an tagradh agad a’ coinneachadh ri inbhean iomchaidh, agus riatanasan sàbhailteachd, tèarainteachd, riaghlaidh no eile. .
Faodaidh na goireasan sin atharrachadh gun rabhadh. Bheir TI cead dhut na goireasan sin a chleachdadh a-mhàin airson leasachadh tagradh a chleachdas na toraidhean TI a tha air am mìneachadh sa ghoireas. Thathas a’ toirmeasg ath-riochdachadh agus taisbeanadh eile de na goireasan sin. Chan eil cead sam bith air a thoirt do chòir seilbh inntleachdail TI sam bith eile no do chòir seilbh inntleachdail treas-phàrtaidh sam bith. Bidh TI a’ diùltadh uallach airson, agus bidh thu a’ làn shaoradh TI agus a riochdairean an-aghaidh, tagraidhean, milleadh, cosgaisean, call agus uallaichean sam bith a thig às do chleachdadh air na goireasan sin.
Tha toraidhean TI air an toirt seachad a rèir Cumhachan Reic TI no teirmean iomchaidh eile a tha rim faighinn an dàrna cuid air ti.com no air an toirt seachad an co-bhonn ri toraidhean TI mar sin. Chan eil solar nan goireasan sin aig TI a’ leudachadh no ag atharrachadh air dhòigh eile air barrantasan iomchaidh no àicheadh barantais TI airson toraidhean TI.
Tha TI a’ cur an aghaidh agus a’ diùltadh teirmean a bharrachd no eadar-dhealaichte a dh’ fhaodadh tu a bhith air a mholadh. FIOSRACHADH CUDROMACH
Seòladh puist: Texas Instruments, Bogsa Oifis a ’Phuist 655303, Dallas, Texas 75265 Còraichean © 2024, Texas Instruments Incorporated
Sgrìobhainnean/Goireasan
 |
Texas Instruments AM6x a’ leasachadh ioma-chamara [pdfStiùireadh Cleachdaiche AM62A, AM62P, AM6x A’ leasachadh ioma-chamara, AM6x, A’ leasachadh ioma-chamara, ioma-chamara, Camara |