Vyombo vya Texas AM6x Inatengeneza Kamera Nyingi

Vipimo

• Jina la Bidhaa: Familia ya AM6x ya vifaa
• Aina ya Kamera Inayotumika: AM62A (Pamoja na au bila ISP iliyojengewa ndani), AM62P (Inayo ISP Iliyojumuishwa)
• Data ya Pato la Kamera: AM62A (Mbichi/YUV/RGB), AM62P (YUV/RGB)
• ISP HWA: AM62A (Ndiyo), AM62P (Hapana)
• Mafunzo ya Kina HWA: AM62A (Ndiyo), AM62P (Hapana)
• Michoro ya 3-D HWA: AM62A (Hapana), AM62P (Ndiyo)

Utangulizi wa Programu za Kamera Nyingi kwenye AM6x:

• Kamera zilizopachikwa huchukua jukumu muhimu katika mifumo ya kisasa ya kuona.
• Kutumia kamera nyingi katika mfumo huongeza uwezo na kuwezesha kazi zisizoweza kufikiwa kwa kamera moja.

Maombi kwa kutumia Kamera Nyingi:

• Ufuatiliaji wa Usalama: Huboresha ufuatiliaji, ufuatiliaji wa vitu, na usahihi wa utambuzi.
• Mzunguko View: Huwasha maono ya stereo kwa kazi kama vile kutambua vizuizi na upotoshaji wa kitu.
• Rekoda ya Kabati na Mfumo wa Kioo cha Kamera: Hutoa chanjo iliyopanuliwa na huondoa matangazo ya vipofu.
• Picha za Matibabu: Inatoa usahihi ulioimarishwa katika urambazaji wa upasuaji na endoscopy.
• Ndege zisizo na rubani na Picha za Angani: Nasa picha zenye mwonekano wa juu kutoka pembe tofauti kwa programu mbalimbali.

Kuunganisha Kamera Nyingi za CSI-2 kwenye SoC:
Ili kuunganisha kamera nyingi za CSI-2 kwenye SoC, fuata miongozo iliyotolewa katika mwongozo wa mtumiaji. Hakikisha mpangilio sahihi na uunganisho wa kila kamera kwenye milango iliyoteuliwa kwenye SoC.

Kumbuka Maombi
Kutengeneza Programu za Kamera Nyingi kwenye AM6x

Jianzhong Xu, Qutaiba Saleh

MUHTASARI
Ripoti hii inaelezea ukuzaji wa programu kwa kutumia kamera nyingi za CSI-2 kwenye familia ya vifaa vya AM6x. Muundo wa marejeleo wa utambuzi wa kitu kwa kujifunza kwa kina kwenye kamera 4 kwenye AM62A SoC unawasilishwa na uchanganuzi wa utendaji. Kanuni za jumla za muundo zinatumika kwa SoCs zingine zilizo na kiolesura cha CSI-2, kama vile AM62x na AM62P.

Utangulizi

Kamera zilizopachikwa zina jukumu muhimu katika mifumo ya kisasa ya maono. Kutumia kamera nyingi katika mfumo huongeza uwezo wa mifumo hii na kuwezesha uwezo ambao hauwezekani kwa kamera moja. Chini ni baadhi ya wa zamaniampmaelezo ya programu kwa kutumia kamera nyingi zilizopachikwa:

• Ufuatiliaji wa Usalama: Kamera nyingi zilizowekwa kimkakati hutoa chanjo ya kina ya ufuatiliaji. Wanawezesha panoramic views, kupunguza maeneo yasiyoonekana, na kuimarisha usahihi wa ufuatiliaji na utambuzi wa kitu, kuboresha hatua za usalama kwa ujumla.
• Mzunguko View: Kamera nyingi hutumiwa kuunda usanidi wa maono ya stereo, kuwezesha maelezo ya pande tatu na ukadiriaji wa kina. Hii ni muhimu kwa kazi kama vile kugundua vizuizi katika magari yanayojiendesha, upotoshaji sahihi wa kitu katika robotiki, na uhalisia ulioboreshwa wa uzoefu wa uhalisia ulioboreshwa.
• Rekoda ya Kabati na Mfumo wa Kioo cha Kamera: Rekoda ya kabati ya gari yenye kamera nyingi inaweza kutoa ufikiaji zaidi kwa kutumia kichakataji kimoja. Vile vile, mfumo wa kioo wa kamera na kamera mbili au zaidi unaweza kupanua uwanja wa dereva wa view na uondoe maeneo ya vipofu kutoka pande zote za gari.
• Upigaji picha wa Kimatibabu: Kamera nyingi zinaweza kutumika katika upigaji picha wa kimatibabu kwa kazi kama vile urambazaji wa upasuaji, kuwapa madaktari wa upasuaji mitazamo mingi kwa usahihi ulioimarishwa. Katika endoscopy, kamera nyingi huwezesha uchunguzi wa kina wa viungo vya ndani.
• Ndege zisizo na rubani na Picha za Angani: Mara nyingi ndege zisizo na rubani huja zikiwa na kamera nyingi ili kunasa picha au video zenye mwonekano wa juu kutoka pembe tofauti. Hii ni muhimu katika matumizi kama vile upigaji picha wa angani, ufuatiliaji wa kilimo, na upimaji ardhi.
• Pamoja na maendeleo ya microprocessors, kamera nyingi zinaweza kuunganishwa kwenye Mfumo-on-Chip moja.
  (SoC) kutoa masuluhisho thabiti na madhubuti. AM62Ax SoC, yenye utendakazi wa hali ya juu wa kuchakata video/maono na kuongeza kasi ya kujifunza kwa kina, ni kifaa bora kwa matukio ya matumizi yaliyotajwa hapo juu. Kifaa kingine cha AM6x, AM62P, kimeundwa kwa ajili ya programu za maonyesho ya 3D zilizopachikwa za utendaji wa juu. Ikiwa na uongezaji kasi wa picha za 3D, AM62P inaweza kuunganisha kwa urahisi picha kutoka kwa kamera nyingi na kutoa panoramiki ya mwonekano wa juu. view. Vipengele vibunifu vya AM62A/AM62P SoC vimewasilishwa katika machapisho mbalimbali, kama vile [4], [5], [6], n.k. Dokezo hili la programu halitarudia maelezo hayo ya vipengele lakini badala yake linalenga katika kuunganisha kamera nyingi za CSI-2 kwenye programu za maono zilizopachikwa kwenye AM62A/AM62P.
• Jedwali 1-1 linaonyesha tofauti kuu kati ya AM62A na AM62P kuhusiana na usindikaji wa picha.

Jedwali 1-1. Tofauti Kati ya AM62A na AM62P katika Uchakataji wa Picha

Kuunganisha Kamera Nyingi za CSI-2 kwenye SoC
Mfumo mdogo wa Kamera kwenye AM6x SoC una vifaa vifuatavyo, kama inavyoonyeshwa kwenye Mchoro 2-1:

• Kipokezi cha MIPI D-PHY: hupokea mitiririko ya video kutoka kwa kamera za nje, inayoauni hadi Gbps 1.5 kwa kila njia ya data kwa njia 4.
• Kipokezi cha CSI-2 (RX): hupokea mitiririko ya video kutoka kwa kipokezi cha D-PHY na ama kutuma mitiririko hiyo moja kwa moja kwa ISP au kutupa data kwenye kumbukumbu ya DDR. Moduli hii inaauni hadi chaneli 16 pepe.
• SHIM: jalada la DMA ambalo huwezesha kutuma mitiririko iliyonaswa kwenye kumbukumbu kupitia DMA. Miktadha mingi ya DMA inaweza kuundwa na kanga hii, na kila muktadha unalingana na mkondo pepe wa Kipokeaji CSI-2.

Kamera nyingi zinaweza kutumika kwenye AM6x kupitia matumizi ya chaneli pepe za CSI-2 RX, ingawa kuna kiolesura kimoja cha CSI-2 RX kwenye SoC. Kipengele cha ujumlishaji cha CSI-2 cha nje kinahitajika ili kuchanganya mitiririko mingi ya kamera na kuzituma kwa SoC moja. Aina mbili za ufumbuzi wa mkusanyiko wa CSI-2 zinaweza kutumika, zilizoelezwa katika sehemu zifuatazo.

CSI-2 Aggregator Kwa Kutumia SerDes
Njia moja ya kuchanganya mitiririko mingi ya kamera ni kutumia suluhisho la kuratibu na kuondoa (SerDes). Data ya CSI-2 kutoka kwa kila kamera inabadilishwa na serializer na kuhamishwa kupitia kebo. Kiondoaji hupokea data yote iliyosawazishwa iliyohamishwa kutoka kwa kebo (kebo moja kwa kila kamera), inabadilisha mitiririko hadi kwa data ya CSI-2, na kisha kutuma mtiririko ulioingiliana wa CSI-2 hadi kiolesura kimoja cha CSI-2 RX kwenye SoC. Kila mtiririko wa kamera unatambuliwa na chaneli ya kipekee ya mtandaoni. Suluhisho hili la kujumlisha linatoa manufaa ya ziada ya kuruhusu muunganisho wa umbali mrefu wa hadi 15m kutoka kwa kamera hadi SoC.

FPD-Link au V3-Link serializers na deserializers (SerDes), inayotumika katika AM6x Linux SDK, ni teknolojia maarufu zaidi kwa aina hii ya ufumbuzi wa kujumlisha CSI-2. FPD-Link na V3-Link deserializers zote mbili zina chaneli za nyuma ambazo zinaweza kutumika kutuma mawimbi ya kusawazisha fremu ili kusawazisha kamera zote, kama ilivyoelezwa katika [7].
Kielelezo 2-2 kinaonyesha wa zamaniample ya kutumia SerDes kuunganisha kamera nyingi kwa AM6x SoC moja.

Mzeeample la suluhu hili la kujumlisha linaweza kupatikana kwenye Kifaa cha Suluhisho cha Kamera ya Arducam V3Link. Seti hii ina kitovu cha deserializer ambacho hujumlisha mitiririko 4 ya kamera ya CSI-2, pamoja na jozi 4 za viboreshaji vya V3link na kamera za IMX219, ikiwa ni pamoja na nyaya za coaxial za FAKRA na kebo za pini 22 za FPC. Muundo wa marejeleo uliojadiliwa baadaye umejengwa kwenye kifurushi hiki.

CSI-2 Aggregator bila Kutumia SerDes
Aina hii ya kijumlishi inaweza kusawazisha moja kwa moja na kamera nyingi za MIPI CSI-2 na kujumlisha data kutoka kwa kamera zote hadi mtiririko mmoja wa towe wa CSI-2.

Kielelezo 2-3 kinaonyesha wa zamaniampmfumo kama huo. Aina hii ya suluhu ya kujumlisha haitumii serializer/deserializer yoyote lakini inadhibitiwa na umbali wa juu zaidi wa uhamishaji wa data wa CSI-2, ambao ni hadi 30cm. SDK ya AM6x Linux haitumii aina hii ya kikokotezi cha CSI-2

Kuwasha Kamera Nyingi katika Programu

Usanifu wa Programu ya Mfumo Ndogo wa Kamera
Kielelezo 3-1 kinaonyesha mchoro wa kiwango cha juu cha kuzuia wa programu ya mfumo wa kunasa kamera katika AM62A/AM62P Linux SDK, inayolingana na mfumo wa HW kwenye Mchoro 2-2.

• Usanifu huu wa programu huwezesha SoC kupokea mitiririko mingi ya kamera kwa kutumia SerDes, kama inavyoonyeshwa kwenye Mchoro 2-2. FPD-Link/V3-Link SerDes hutoa anwani ya kipekee ya I2C na chaneli pepe kwa kila kamera. Uwekeleaji wa kipekee wa mti wa kifaa unapaswa kuundwa kwa anwani ya kipekee ya I2C kwa kila kamera. Dereva wa CSI-2 RX hutambua kila kamera kwa kutumia nambari ya kipekee ya kituo pepe na kuunda muktadha wa DMA kwa kila mtiririko wa kamera. Nodi ya video imeundwa kwa kila muktadha wa DMA. Data kutoka kwa kila kamera hupokelewa na kuhifadhiwa kwa kutumia DMA kwenye kumbukumbu ipasavyo. Programu za nafasi ya mtumiaji hutumia nodi za video zinazolingana na kila kamera kufikia data ya kamera. Kwa mfanoampmaelezo ya kutumia usanifu wa programu hii yametolewa katika Sura ya 4 - Usanifu wa Marejeleo.
• Kiendeshi chochote mahususi cha kihisi ambacho kinatii mfumo wa V4L2 kinaweza kuunganisha na kucheza katika usanifu huu. Rejelea [8] kuhusu jinsi ya kuunganisha kiendesha kihisi kipya kwenye SDK ya Linux.

Usanifu wa Programu ya Bomba la Picha

• SDK ya AM6x Linux hutoa mfumo wa GStreamer (GST), ambao unaweza kutumika katika nafasi ya seva kujumuisha vipengele vya kuchakata picha kwa programu mbalimbali. Viongeza kasi vya Vifaa (HWA) kwenye SoC, kama vile Vision Pre-processing Accelerator (VPAC) au ISP, encoder/decoder video, na injini ya kompyuta ya kujifunza kwa kina, hufikiwa kupitia GST. plugins. VPAC (ISP) yenyewe ina vizuizi vingi, vikiwemo Mfumo Ndogo wa Kupiga Picha za Vision (VISS), Marekebisho ya Upotoshaji wa Lenzi (LDC), na Multiscalar (MSC), kila moja inayolingana na programu-jalizi ya GST.
• Mchoro wa 3-2 unaonyesha mchoro wa kizuizi cha bomba la kawaida la picha kutoka kwa kamera hadi usimbaji au kina
  maombi ya kujifunza kwenye AM62A. Kwa maelezo zaidi kuhusu mtiririko wa data kutoka mwisho hadi mwisho, rejelea hati za EdgeAI SDK.

Kwa AM62P, bomba la picha ni rahisi kwa sababu hakuna ISP kwenye AM62P.

Kwa nodi ya video iliyoundwa kwa kila kamera, bomba la picha kulingana na GStreamer huruhusu uchakataji wa pembejeo nyingi za kamera (zilizounganishwa kupitia kiolesura sawa cha CSI-2 RX) kwa wakati mmoja. Muundo wa marejeleo unaotumia GStreamer kwa programu-tumizi za kamera nyingi umetolewa katika sura inayofuata.

Usanifu wa Marejeleo

Sura hii inawasilisha muundo wa marejeleo wa kuendesha programu za kamera nyingi kwenye AM62A EVM, kwa kutumia Arducam V3Link Camera Solution Kit kuunganisha kamera 4 za CSI-2 kwa AM62A na kuendesha utambuzi wa kitu kwa kamera zote 4.

Kamera Zinazotumika
Seti ya Arducam V3Link inafanya kazi na kamera za FPD-Link/V3-Link na kamera za CSI-2 zinazooana na Raspberry Pi. Kamera zifuatazo zimejaribiwa:

• Uhandisi wa D3 D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• Kamera za IMX219 kwenye Kifaa cha Suluhisho cha Kamera ya Arducam V3Link

Kuweka Kamera Nne za IMX219
Fuata maagizo yaliyotolewa katika Mwongozo wa Kuanza Haraka wa AM62A Starter Kit EVM ili kusanidi SK-AM62A-LP EVM (AM62A SK) na Mwongozo wa Kuanza Haraka wa Kamera ya ArduCam V3Link ili kuunganisha kamera kwenye AM62A SK kupitia kifaa cha V3Link. Hakikisha pini kwenye nyaya, kamera, ubao wa V3Link na AM62A SK zote zimepangwa vizuri.

Kielelezo 4-1 kinaonyesha usanidi uliotumika kwa muundo wa marejeleo katika ripoti hii. Sehemu kuu katika usanidi ni pamoja na:

• Bodi ya 1X SK-AM62A-LP EVM
• Bodi ya adapta ya 1X Arducam V3Link d-ch
• Kebo ya FPC inayounganisha Arducam V3Link hadi SK-AM62A
• Adapta za kamera za 4X V3Link (serializers)
• 4X RF nyaya za coaxial za kuunganisha viboreshaji vya V3Link kwenye kifaa cha V3Link d-ch
• Kamera za 4X IMX219
• 4X CSI-2 nyaya za pini 22 za kuunganisha kamera kwenye viboreshaji
• Kebo: Kebo ya HDMI, USB-C ya kuwasha SK-AM62A-LP na 12V chanzo cha nishati kwa V3Link d-ch kit)
• Vipengele vingine ambavyo havijaonyeshwa kwenye Mchoro 4-1: kadi ndogo ya SD, kebo ndogo ya USB kufikia SK-AM62A-LP, na Ethaneti kwa ajili ya kutiririsha.

Inasanidi Kamera na Kiolesura cha CSI-2 RX
Sanidi programu kulingana na maagizo yaliyotolewa kwenye Mwongozo wa Kuanza Haraka wa Arducam V3Link. Baada ya kuendesha hati ya kusanidi kamera, setup-imx219.sh, umbizo la kamera, umbizo la kiolesura cha CSI-2 RX, na njia kutoka kwa kila kamera hadi nodi ya video inayolingana zitasanidiwa ipasavyo. Nodi nne za video zimeundwa kwa kamera nne za IMX219. Amri "v4l2-ctl -list-devices" huonyesha vifaa vyote vya video vya V4L2, kama inavyoonyeshwa hapa chini:

Kuna nodi 6 za video na nodi 1 ya media chini ya tiscsi2rx. Kila nodi ya video inalingana na muktadha wa DMA uliotolewa na kiendesha CSI2 RX. Kati ya nodi 6 za video, 4 zinatumika kwa kamera 4 za IMX219, kama inavyoonyeshwa kwenye topolojia ya bomba la media hapa chini:

Kama inavyoonyeshwa hapo juu, huluki ya media 30102000.ticsi2rx ina pedi chanzo 6, lakini 4 tu za kwanza ndizo zinazotumika, kila moja kwa IMX219 moja. Topolojia ya bomba la vyombo vya habari pia inaweza kuonyeshwa kwa michoro. Endesha amri ifuatayo ili kutoa nukta file:

Kisha endesha amri hapa chini kwenye PC mwenyeji wa Linux ili kutoa PNG file:

Kielelezo 4-2 ni picha inayozalishwa kwa kutumia amri zilizotolewa hapo juu. Vipengele katika usanifu wa programu ya Mchoro 3-1 vinaweza kupatikana kwenye grafu hii.

Kutiririsha kutoka kwa Kamera Nne
Pamoja na maunzi na programu kusanidiwa ipasavyo, programu za kamera nyingi zinaweza kuendeshwa kutoka kwa nafasi ya mtumiaji. Kwa AM62A, ISP lazima ichungwe ili kutoa ubora mzuri wa picha. Rejelea Mwongozo wa Kurekebisha wa ISP wa AM6xA kwa jinsi ya kutekeleza urekebishaji wa ISP. Sehemu zifuatazo zinawasilisha mhampchini ya kutiririsha data ya kamera kwenye onyesho, kutiririsha data ya kamera kwenye mtandao, na kuhifadhi data ya kamera files.

Data ya Kamera ya Kutiririsha ili Kuonyeshwa
Utumizi wa kimsingi wa mfumo huu wa kamera nyingi ni kutiririsha video kutoka kwa kamera zote hadi onyesho lililounganishwa kwa SoC sawa. Ifuatayo ni bomba la zamani la GStreamerample ya kutiririsha IMX219 nne hadi onyesho (nambari za nodi za video na nambari za v4l-subdev kwenye bomba zitabadilika kutoka kuwashwa tena hadi kuwashwa tena).

Kutiririsha Data ya Kamera kupitia Ethaneti
Badala ya kutiririsha kwenye onyesho lililounganishwa kwa SoC sawa, data ya kamera inaweza pia kutiririshwa kupitia Ethaneti. Upande wa kupokea unaweza kuwa kichakataji kingine cha AM62A/AM62P au Kompyuta mwenyeji. Ifuatayo ni example ya kutiririsha data ya kamera kupitia Ethernet (kwa kutumia kamera mbili kwa urahisi) (kumbuka programu-jalizi ya kisimbaji inayotumika kwenye bomba):

Ifuatayo ni example ya kupokea data ya kamera na kutiririsha kwenye onyesho kwenye kichakataji kingine cha AM62A/AM62P:

Kuhifadhi Data ya Kamera kwa Files
Badala ya kutiririsha kwenye onyesho au kupitia mtandao, data ya kamera inaweza kuhifadhiwa ndani files. Bomba hapa chini huhifadhi data ya kila kamera kwa a file (kwa kutumia kamera mbili kama example kwa unyenyekevu).

Muhtasari wa Kujifunza kwa Kina kwa Kamera nyingi

AM62A ina kichapuzi cha kina cha kujifunza (C7x-MMA) chenye hadi TOPS mbili, ambazo zinaweza kuendesha aina mbalimbali za miundo ya kujifunza kwa kina kwa uainishaji, kutambua vitu, sehemu za kisemantiki na zaidi. Sehemu hii inaonyesha jinsi AM62A inaweza kutekeleza kwa wakati mmoja miundo minne ya kujifunza kwa kina kwenye milisho minne tofauti ya kamera.

Uteuzi wa Mfano
TI's EdgeAI-ModelZoo hutoa mamia ya miundo ya hali ya juu, ambayo hubadilishwa/kusafirishwa kutoka mifumo yao ya awali ya mafunzo hadi umbizo iliyopachikwa-kirafiki ili iweze kupakiwa kwenye kichapuzi cha kina cha C7x-MMA. Kichanganuzi cha Modeli cha Edge AI cha msingi wa wingu hutoa zana rahisi kutumia ya "Uteuzi wa Mfano". Imesasishwa kwa nguvu ili kujumuisha miundo yote inayotumika katika TI EdgeAI-ModelZoo. Chombo hiki hakihitaji matumizi ya awali na hutoa kiolesura kilicho rahisi kutumia ili kuingiza vipengele vinavyohitajika katika muundo unaotaka.

TFL-OD-2000-ssd-mobV1-coco-mlperf ilichaguliwa kwa jaribio hili la kujifunza kwa kina la kamera nyingi. Mtindo huu wa ugunduzi wa vitu vingi umetengenezwa katika mfumo wa TensorFlow na azimio la ingizo la 300×300. Jedwali la 4-1 linaonyesha vipengele muhimu vya modeli hii unapofunzwa kwenye mkusanyiko wa data wa cCOCO wenye takriban madarasa 80 tofauti.

Jedwali 4-1. Angazia Vipengele vya Mfano wa TFL-OD-2000-ssd-mobV1-coco-mlperf.

Mpangilio wa Bomba
Kielelezo 4-3 kinaonyesha bomba la kujifunza kwa kina la GStreamer la kamera 4. TI hutoa safu ya GStreamer plugins ambayo huruhusu upakiaji baadhi ya uchakataji wa midia na uelekezaji wa kina wa kujifunza kwa viongeza kasi vya maunzi. Baadhi ya zamaniampkidogo ya haya plugins ni pamoja na tiovxisp, tiovxmultiscaler, tiovxmosaic, na tidlinferer. Bomba katika Mchoro 4-3 ni pamoja na yote yanayohitajika plugins kwa bomba la njia nyingi za GStreamer kwa pembejeo za kamera 4, kila moja ikiwa na utayarishaji wa media, makisio ya kina ya kujifunza, na mchakato wa baada ya muda. Iliyorudiwa plugins kwa kila moja ya njia za kamera zimewekwa kwenye grafu kwa uonyeshaji rahisi.
Rasilimali za maunzi zinazopatikana zinasambazwa sawasawa kati ya njia nne za kamera. Kwa mfano, AM62A ina viboreshaji picha viwili: MSC0 na MSC1. Bomba hili linaweka wakfu MSC0 kwa uwazi kuchakata kamera 1 na njia 2 za kamera, wakati MSC1 imejitolea kwa kamera 3 na kamera 4.

Toleo la mabomba manne ya kamera hupunguzwa chini na kuunganishwa pamoja kwa kutumia programu-jalizi ya tiovxmosaic. Matokeo yanaonyeshwa kwenye skrini moja. Kielelezo 4-4 kinaonyesha matokeo ya kamera nne zilizo na modeli ya kina ya kujifunza inayoendesha utambuzi wa kitu. Kila bomba (kamera) inafanya kazi kwa ramprogrammen 30 na jumla ya ramprogrammen 120.

Inayofuata ni hati kamili ya utumiaji wa ujifunzaji wa kina wa kamera nyingi iliyoonyeshwa kwenye Mchoro 4-3.

Uchambuzi wa Utendaji

Usanidi ulio na kamera nne kwa kutumia ubao wa V3Link na AM62A SK ulijaribiwa katika hali tofauti za programu, pamoja na kuonyeshwa moja kwa moja kwenye skrini, kutiririsha kupitia Ethernet (chaneli nne za UDP), kurekodi hadi 4 tofauti. files, na kwa ufahamu wa kina wa kujifunza. Katika kila jaribio, tulifuatilia kasi ya fremu na matumizi ya viini vya CPU kuchunguza uwezo wa mfumo mzima.

Kama ilivyoonyeshwa hapo awali katika Mchoro 4-4, bomba la kujifunza kwa kina hutumia programu-jalizi ya tiperfoverlay GStreamer ili kuonyesha mizigo ya msingi ya CPU kama grafu ya upau chini ya skrini. Kwa chaguo-msingi, grafu inasasishwa kila baada ya sekunde mbili ili kuonyesha mizigo kama asilimia ya matumizitage. Kando na programu-jalizi ya tiperfoverlay GStreamer, zana ya perf_stats ni chaguo la pili la kuonyesha utendakazi wa msingi moja kwa moja kwenye terminal na chaguo la kuhifadhi kwenye a. file. Zana hii ni sahihi zaidi ikilinganishwa na tTiperfoverlayas ya mwisho inaongeza mzigo wa ziada kwenye cores za theARMm na DDR kuchora grafu na kuifunika kwenye skrini. Zana ya perf_stats hutumiwa hasa kukusanya matokeo ya matumizi ya maunzi katika visa vyote vya majaribio vilivyoonyeshwa katika hati hii. Baadhi ya cores muhimu za usindikaji na vichapuzi vilivyosomwa katika majaribio haya ni pamoja na vichakataji wakuu (viini vinne vya A53 Arm @ 1.25GHz), kichapuzi cha kina cha kujifunza (C7x-MMA @ 850MHz), VPAC (ISP) yenye VISS na viboreshaji vingi (MSC0 na MSC1), na uendeshaji wa DDR.

Jedwali la 5-1 linaonyesha utendaji na matumizi ya rasilimali unapotumia AM62A na kamera nne kwa matukio matatu ya utumiaji, ikiwa ni pamoja na kutiririsha kamera nne kwenye onyesho, kutiririsha kupitia Ethaneti, na kurekodi hadi nne tofauti. files. Majaribio mawili yanatekelezwa katika kila hali ya utumiaji: kwa kamera pekee na kwa makisio ya kina ya kujifunza. Kwa kuongeza, safu ya kwanza katika Jedwali 5-1 inaonyesha utumiaji wa maunzi wakati mfumo wa uendeshaji tu ulikuwa unafanya kazi kwenye AM62A bila programu zozote za mtumiaji. Hii inatumika kama msingi kulinganisha dhidi ya wakati wa kutathmini utumiaji wa maunzi ya kesi zingine za majaribio. Kama inavyoonyeshwa kwenye jedwali, kamera nne zilizo na ujifunzaji wa kina na onyesho la skrini zilifanya kazi kwa ramprogrammen 30 kila moja, na jumla ya ramprogrammen 120 kwa kamera nne. Kasi hii ya juu ya fremu inafikiwa kwa 86% pekee ya uwezo kamili wa kiongeza kasi cha kujifunza kwa kina (C7x-MMA). Kwa kuongeza, ni muhimu kutambua kwamba kichocheo cha kujifunza kina kiliwekwa saa 850MHz badala ya 1000MHz katika majaribio haya, ambayo ni karibu 85% tu ya utendaji wake wa juu.

Jedwali 5-1. Utendaji (FPS) na Matumizi ya Rasilimali ya AM62A inapotumiwa na Kamera 4 za IMX219 kwa Onyesho la Skrini, Mkondo wa Ethernet, Rekodi hadi Files, na Kufanya Ufuatiliaji wa Kujifunza kwa Kina

Muhtasari
Ripoti hii ya programu inaeleza jinsi ya kutekeleza programu za kamera nyingi kwenye familia ya vifaa vya AM6x. Muundo wa marejeleo kulingana na Kitengo cha Suluhisho la Kamera ya Arducam ya V3Link na AM62A SK EVM imetolewa katika ripoti hiyo, ikiwa na programu kadhaa za kamera zinazotumia kamera nne za IMX219, kama vile utiririshaji na utambuzi wa kitu. Watumiaji wanahimizwa kupata V3Link Camera Solution Kit kutoka Arducam na kuiga hizi exampchini. Ripoti hiyo pia inatoa uchambuzi wa kina wa utendaji wa AM62A huku ukitumia kamera nne chini ya usanidi mbalimbali, ikiwa ni pamoja na kuonyesha kwenye skrini, kutiririsha kupitia Ethernet, na kurekodi kwa files. Inaonyesha pia uwezo waAM62A'sA wa kutekeleza makisio ya kina ya kujifunza kwenye mitiririko minne tofauti ya kamera kwa sambamba. Ikiwa kuna maswali yoyote kuhusu kuendesha hizi examples, wasilisha uchunguzi kwenye jukwaa la TI E2E.

Marejeleo

1. AM62A Starter Kit EVM Mwongozo wa Kuanza Haraka
2. Mwongozo wa Kuanza Haraka wa Kamera ya ArduCam V3Link
3. Nyaraka za Edge AI SDK za AM62A
4. Kamera Mahiri za AI zinazotumia Kichakata cha AM62A kinachotumia Nishati
5. Mifumo ya Kioo cha Kamera kwenye AM62A
6. Mifumo ya Ufuatiliaji wa Madereva na Ukaaji kwenye AM62A
7. Maombi ya Kamera ya Kituo cha Quad kwa Mazingira View na Mifumo ya Kamera ya CMS
8. AM62Ax Linux Academy juu ya Kuwasha Kihisi cha CIS-2
9. Edge AI ModelZoo
10. Edge AI Studio
11. Perf_stats zana

Sehemu za TI Zinazorejelewa katika Kumbuka Maombi haya:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

ILANI MUHIMU NA KANUSHO

TI HUTOA DATA YA KIUFUNDI NA KUTEGEMEA (PAMOJA NA KARATASI ZA DATA), RASILIMALI ZA KUBUNI (PAMOJA NA MIUNDO YA MAREJEO), MAOMBI AU USHAURI MENGINE WA KUBUNI, WEB ZANA, TAARIFA ZA USALAMA, NA RASILIMALI NYINGINE “KAMA ILIVYO” NA PAMOJA NA MAKOSA ZOTE, NA INAKANUSHA DHAMANA ZOTE, WAZI NA ZINAZODISIWA, IKIWEMO BILA KIKOMO DHIMA ZOZOTE ZILIZOHUSIWA ZA UUZAJI, USAWA KWA UTEKELEZAJI WA TATU. .

Rasilimali hizi zimekusudiwa watengenezaji stadi wanaobuni kwa kutumia bidhaa za TI. Unawajibika tu

1. kuchagua bidhaa zinazofaa za TI kwa programu yako,
2. kubuni, kuhalalisha, na kupima programu yako, na
3. kuhakikisha kwamba maombi yako yanakidhi viwango vinavyotumika, na mahitaji mengine yoyote ya usalama, usalama, udhibiti au mahitaji mengine.

Rasilimali hizi zinaweza kubadilika bila taarifa. TI hukuruhusu kutumia rasilimali hizi kwa uundaji wa programu tumizi inayotumia bidhaa za TI zilizofafanuliwa kwenye rasilimali. Uzalishaji mwingine na maonyesho ya rasilimali hizi ni marufuku. Hakuna leseni inayotolewa kwa haki nyingine yoyote ya uvumbuzi ya TI au haki yoyote ya uvumbuzi ya watu wengine. TI inakanusha kuwajibika kwa, na utailipia TI na wawakilishi wake kikamilifu dhidi ya, madai yoyote, uharibifu, gharama, hasara na dhima zinazotokana na matumizi yako ya rasilimali hizi.

Bidhaa za TI hutolewa kulingana na Sheria na Masharti ya TI au sheria na masharti mengine yanayotumika yanapatikana kwenye ti.com au zinazotolewa kwa kushirikiana na bidhaa hizo za TI. Utoaji wa TI wa nyenzo hizi haupanui au haubadilishi dhamana zinazotumika za TI au makanusho ya udhamini kwa bidhaa za TI.

TI inapinga na kukataa masharti yoyote ya ziada au tofauti ambayo unaweza kuwa umependekeza.

TAARIFA MUHIMU

• Anwani ya Barua: Texas Instruments, Posta Box 655303, Dallas, Texas 75265
• Hakimiliki © 2024, Texas Instruments Incorporated

Maswali Yanayoulizwa Mara Kwa Mara

Nyaraka / Rasilimali

Vyombo vya Texas AM6x Inakuza Kamera Nyingi [pdf] Mwongozo wa Mtumiaji AM62A, AM62P, AM6x Inatengeneza Kamera Nyingi, AM6x, Kutengeneza Kamera Nyingi, Kamera Nyingi, Kamera

Marejeleo

• Mwongozo wa Mtumiaji