ٽيڪساس انسٽرومينٽس AM6x ڊولپنگ ملٽيپل ڪئميرا يوزر گائيڊ

ايمبيڊڊ ڪيمرا جديد بصري نظام ۾ اهم ڪردار ادا ڪن ٿا.
هڪ سسٽم ۾ ڪيترن ئي ڪيمرائن جو استعمال صلاحيتن کي وڌائي ٿو ۽ هڪ ڪئميرا سان حاصل نه ٿيندڙ ڪمن کي فعال بڻائي ٿو.

گھڻن ڪيمرا استعمال ڪندڙ ايپليڪيشنون:

سيڪيورٽي نگراني: نگراني ڪوريج، اعتراض جي ٽريڪنگ، ۽ سڃاڻپ جي درستگي کي وڌائي ٿو.
چوڌاري View: رڪاوٽ جي ڳولا ۽ شين جي هٿرادو ڪرڻ جهڙن ڪمن لاءِ اسٽيريو ويزن کي فعال بڻائي ٿو.

ڪيبن رڪارڊر ۽ ڪئميرا آئيني جو نظام: وڌايل ڪوريج فراهم ڪري ٿو ۽ بلائنڊ اسپاٽس کي ختم ڪري ٿو.
طبي تصوير: سرجريڪل نيويگيشن ۽ اينڊو اسڪوپي ۾ بهتر درستگي پيش ڪري ٿو.

ڊرون ۽ فضائي تصوير: مختلف ايپليڪيشنن لاءِ مختلف زاوين کان اعليٰ ريزوليوشن واريون تصويرون ڪڍو.

ڪيترن ئي CSI-2 ڪيمرائن کي SoC سان ڳنڍڻ:
ڪيترن ئي CSI-2 ڪيمرائن کي SoC سان ڳنڍڻ لاءِ، استعمال ڪندڙ مينوئل ۾ ڏنل هدايتن تي عمل ڪريو. هر ڪئميرا جي SoC تي مقرر ڪيل پورٽن سان صحيح ترتيب ۽ ڪنيڪشن کي يقيني بڻايو.

ايپليڪيشن نوٽ
AM6x تي ملٽيپل ڪئميرا ايپليڪيشنون ٺاهڻ

جيان زونگ سو، قطيبه صالح

خلاصو
هي رپورٽ AM2x ڊوائيسز جي خاندان تي ڪيترن ئي CSI-6 ڪيمرائن کي استعمال ڪندي ايپليڪيشن ڊولپمينٽ کي بيان ڪري ٿي. AM4A SoC تي 62 ڪيمرائن تي ڊيپ لرننگ سان آبجيڪٽ ڊيٽيڪشن جو هڪ ريفرنس ڊيزائن ڪارڪردگي جي تجزيي سان پيش ڪيو ويو آهي. ڊيزائن جا عام اصول CSI-2 انٽرفيس سان ٻين SoCs تي لاڳو ٿين ٿا، جهڙوڪ AM62x ۽ AM62P.

تعارف

جديد بصري نظامن ۾ ايمبيڊڊ ڪئميرا اهم ڪردار ادا ڪن ٿا. هڪ نظام ۾ ڪيترن ئي ڪئميرائن جو استعمال انهن نظامن جي صلاحيتن کي وڌائي ٿو ۽ اهڙين صلاحيتن کي فعال بڻائي ٿو جيڪي هڪ ڪئميرا سان ممڪن نه آهن. هيٺ ڪجهه مثال آهن.ampگھڻن ايمبيڊڊ ڪيمرا استعمال ڪندي ايپليڪيشنن جا ٿورا:

سيڪيورٽي نگراني: ڪيترائي ڪئميرا حڪمت عملي طور تي جامع نگراني ڪوريج فراهم ڪن ٿا. اهي پينورامڪ کي فعال ڪن ٿا views، بلائنڊ اسپاٽس کي گهٽائڻ، ۽ اعتراض جي ٽريڪنگ ۽ سڃاڻپ جي درستگي کي وڌائڻ، مجموعي سيڪيورٽي قدمن کي بهتر بڻائڻ.
چوڌاري View: اسٽيريو ويزن سيٽ اپ ٺاهڻ لاءِ ڪيترائي ڪيمرا استعمال ڪيا ويندا آهن، جيڪي ٽي-dimensional معلومات ۽ کوٽائي جو اندازو لڳائڻ کي فعال ڪندا آهن. اهو ڪمن لاءِ اهم آهي جهڙوڪ خودمختيار گاڏين ۾ رڪاوٽ جي ڳولا، روبوٽڪس ۾ صحيح شين جي هٿرادو، ۽ وڌندڙ حقيقت جي تجربن جي بهتر حقيقت پسندي.

ڪيبن رڪارڊر ۽ ڪئميرا مرر سسٽم: ڪيترن ئي ڪيمرائن سان گڏ ڪار ڪيبن رڪارڊر هڪ واحد پروسيسر استعمال ڪندي وڌيڪ ڪوريج فراهم ڪري سگهي ٿو. ساڳئي طرح، ٻن يا وڌيڪ ڪيمرائن سان گڏ ڪئميرا مرر سسٽم ڊرائيور جي فيلڊ کي وڌائي سگھي ٿو. view ۽ ڪار جي سڀني پاسن کان بلائنڊ اسپاٽس کي ختم ڪريو.
طبي تصوير: طبي تصوير ۾ ڪيترائي ڪيمرا استعمال ڪري سگھجن ٿا سرجري نيويگيشن جهڙن ڪمن لاءِ، سرجن کي بهتر درستگي لاءِ ڪيترائي نقطه نظر فراهم ڪرڻ. اينڊوسڪوپي ۾، ڪيترائي ڪيمرا اندروني عضون جي مڪمل جانچ کي فعال ڪن ٿا.

ڊرون ۽ فضائي تصوير: ڊرون اڪثر ڪري ڪيترن ئي ڪيمرائن سان ليس هوندا آهن جيڪي مختلف زاوين کان اعليٰ ريزوليوشن تصويرون يا وڊيوز کي پڪڙيندا آهن. هي فضائي فوٽوگرافي، زراعت جي نگراني، ۽ زمين جي سروي جهڙين ايپليڪيشنن ۾ ڪارآمد آهي.
مائڪرو پروسيسرز جي ترقي سان، ڪيترن ئي ڪيمرا کي هڪ سسٽم-آن-چپ ۾ ضم ڪري سگهجي ٿو.
(SoC) ڪمپيڪٽ ۽ ڪارآمد حل فراهم ڪرڻ لاءِ. AM62Ax SoC، اعليٰ ڪارڪردگي واري وڊيو/ويزن پروسيسنگ ۽ ڊيپ لرننگ ايڪسلريشن سان، مٿي ذڪر ڪيل استعمال جي ڪيسن لاءِ هڪ مثالي ڊيوائس آهي. هڪ ٻيو AM6x ڊيوائس، AM62P، اعليٰ ڪارڪردگي واري ايمبيڊڊ 3D ڊسپلي ايپليڪيشنن لاءِ ٺاهيو ويو آهي. 3D گرافڪس ايڪسلريشن سان ليس، AM62P آساني سان ڪيترن ئي ڪيمرائن مان تصويرون گڏ ڪري سگهي ٿو ۽ هڪ اعليٰ ريزوليوشن پينورامڪ پيدا ڪري سگهي ٿو. view. AM62A/AM62P SoC جون جديد خاصيتون مختلف اشاعتن ۾ پيش ڪيون ويون آهن، جهڙوڪ [4]، [5]، [6]، وغيره. هي ايپليڪيشن نوٽ انهن خاصيتن جي وضاحتن کي ورجائي نه سگهندو پر ان جي بدران AM2A/AM62P تي ايمبيڊڊ ويزن ايپليڪيشنن ۾ ڪيترن ئي CSI-62 ڪيمرائن کي ضم ڪرڻ تي ڌيان ڏيندو.

جدول 1-1 تصوير پروسيسنگ جي حوالي سان AM62A ۽ AM62P جي وچ ۾ مکيه فرق ڏيکاري ٿو.

ٽيبل 1-1. تصوير جي پروسيسنگ ۾ AM62A ۽ AM62P جي وچ ۾ فرق

SoC	AM62A	ايم 62 پي
سپورٽ ٿيل ڪئميرا جو قسم	بلٽ ان ISP سان يا بغير	بلٽ ان ISP سان
ڪئميرا آئوٽ پُٽ ڊيٽا	خام/يو يو وي/آر جي بي	YUV/RGB
آءِ ايس پي ايڇ ڊبليو اي	ها	نه
ڊيپ لرننگ ايڇ ڊبليو اي	ها	نه
3-ڊي گرافڪس HWA	نه	ها

ڪيترن ئي CSI-2 ڪيمرائن کي SoC سان ڳنڍڻ
AM6x SoC تي ڪئميرا سب سسٽم ۾ هيٺيان جزا شامل آهن، جيئن شڪل 2-1 ۾ ڏيکاريل آهي:

MIPI D-PHY رسيور: ٻاهرين ڪيمرائن مان وڊيو اسٽريم وصول ڪري ٿو، 1.5 لين لاءِ هر ڊيٽا لين ۾ 4 Gbps تائين سپورٽ ڪري ٿو.

CSI-2 رسيور (RX): D-PHY رسيور کان وڊيو اسٽريم وصول ڪري ٿو ۽ يا ته سڌو سنئون اسٽريم کي ISP ڏانهن موڪلي ٿو يا ڊيٽا کي DDR ميموري ڏانهن ڊمپ ڪري ٿو. هي ماڊيول 16 ورچوئل چينلز تائين سپورٽ ڪري ٿو.
SHIM: هڪ DMA ريپر جيڪو DMA تي قبضو ڪيل اسٽريمز کي ميموري ڏانهن موڪلڻ جي قابل بڻائي ٿو. هن ريپر ذريعي ڪيترائي DMA تناظر ٺاهي سگهجن ٿا، هر تناظر CSI-2 رسيور جي ورچوئل چينل سان لاڳاپيل هوندو آهي.

AM6x تي CSI-2 RX جي ورچوئل چينلز جي استعمال ذريعي گھڻن ڪيمرا کي سپورٽ ڪري سگھجي ٿو، جيتوڻيڪ SoC تي صرف هڪ CSI-2 RX انٽرفيس آهي. گھڻن ڪئميرا اسٽريمز کي گڏ ڪرڻ ۽ انهن کي هڪ واحد SoC ڏانهن موڪلڻ لاءِ هڪ خارجي CSI-2 مجموعي جزو جي ضرورت آهي. ٻن قسمن جا CSI-2 مجموعي حل استعمال ڪري سگھجن ٿا، جيڪي هيٺ ڏنل حصن ۾ بيان ڪيا ويا آهن.

SerDes استعمال ڪندي CSI-2 ايگريگيٽر
گھڻن ڪئميرا اسٽريمز کي گڏ ڪرڻ جو هڪ طريقو سيريلائيزنگ ۽ ڊي سيريلائيزنگ (SerDes) حل استعمال ڪرڻ آهي. هر ڪئميرا مان CSI-2 ڊيٽا کي سيريلائيزنگ ذريعي تبديل ڪيو ويندو آهي ۽ ڪيبل ذريعي منتقل ڪيو ويندو آهي. ڊي سيريلائيزنگ ڪيبلز مان منتقل ڪيل سڀني سيريلائيزڊ ڊيٽا کي حاصل ڪري ٿو (في ڪئميرا هڪ ڪيبل)، اسٽريمز کي واپس CSI-2 ڊيٽا ۾ تبديل ڪري ٿو، ۽ پوءِ هڪ انٽرليوڊ CSI-2 اسٽريم کي SoC تي سنگل CSI-2 RX انٽرفيس ڏانهن موڪلي ٿو. هر ڪئميرا اسٽريم کي هڪ منفرد ورچوئل چينل ذريعي سڃاڻيو ويندو آهي. هي مجموعي حل ڪئميرا کان SoC تائين 15 ميٽر تائين ڊگهي فاصلي جي ڪنيڪشن جي اجازت ڏيڻ جو اضافي فائدو پيش ڪري ٿو.

FPD-Link يا V3-Link سيريلائيزر ۽ ڊيسيريلائيزر (SerDes)، جيڪي AM6x Linux SDK ۾ سپورٽ ٿيل آهن، هن قسم جي CSI-2 ايگريگيٽنگ حل لاءِ سڀ کان وڌيڪ مشهور ٽيڪنالاجيون آهن. FPD-Link ۽ V3-Link ڊيسيريلائيزر ٻنهي ۾ بيڪ چينل آهن جيڪي سڀني ڪيمرائن کي هم وقت سازي ڪرڻ لاءِ فريم سنڪ سگنل موڪلڻ لاءِ استعمال ڪري سگهجن ٿا، جيئن [7] ۾ بيان ڪيو ويو آهي.
شڪل 2-2 هڪ اڳوڻي ڏيکاري ٿوampهڪ ئي AM6x SoC سان ڪيترن ئي ڪيمرائن کي ڳنڍڻ لاءِ SerDes استعمال ڪرڻ جو فائدو.

هڪ سابقampهن مجموعي حل جو هڪ حصو Arducam V3Link ڪئميرا حل ڪٽ ۾ ملي سگهي ٿو. هن ڪٽ ۾ هڪ ڊيسيريلائيزر هب آهي جيڪو 4 CSI-2 ڪئميرا اسٽريمز کي گڏ ڪري ٿو، انهي سان گڏ V4link سيريلائيزر ۽ IMX3 ڪئميرا جا 219 جوڙا، جن ۾ FAKRA ڪواڪسيل ڪيبل ۽ 22-پن FPC ڪيبل شامل آهن. بعد ۾ بحث ڪيل ريفرنس ڊيزائن هن ڪٽ تي ٺهيل آهي.

SerDes استعمال ڪرڻ کان سواءِ CSI-2 ايگريگيٽر
هن قسم جو ايگريگيٽر سڌو سنئون ڪيترن ئي MIPI CSI-2 ڪيمرائن سان انٽرفيس ڪري سگهي ٿو ۽ سڀني ڪيمرائن مان ڊيٽا کي هڪ واحد CSI-2 آئوٽ پُٽ اسٽريم ۾ گڏ ڪري سگهي ٿو.

شڪل 2-3 هڪ اڳوڻي ڏيکاري ٿوampاهڙي نظام جي لي. هن قسم جو مجموعي حل ڪنهن به سيريلائيزر/ڊيسيريلائيزر استعمال نٿو ڪري پر CSI-2 ڊيٽا ٽرانسفر جي وڌ ۾ وڌ فاصلي تائين محدود آهي، جيڪو 30 سينٽي ميٽر تائين آهي. AM6x Linux SDK هن قسم جي CSI-2 مجموعي کي سپورٽ نٿو ڪري.

سافٽ ويئر ۾ گھڻن ڪيمرا کي فعال ڪرڻ

ڪئميرا سب سسٽم سافٽ ويئر آرڪيٽيڪچر
شڪل 3-1 AM62A/AM62P Linux SDK ۾ ڪئميرا ڪيپچر سسٽم سافٽ ويئر جو هڪ اعليٰ سطحي بلاڪ ڊاگرام ڏيکاري ٿو، جيڪو شڪل 2-2 ۾ HW سسٽم سان مطابقت رکي ٿو.

هي سافٽ ويئر آرڪيٽيڪچر SoC کي SerDes جي استعمال سان ڪيترن ئي ڪئميرا اسٽريمز حاصل ڪرڻ جي قابل بڻائي ٿو، جيئن شڪل 2-2 ۾ ڏيکاريل آهي. FPD-Link/V3-Link SerDes هر ڪئميرا کي هڪ منفرد I2C ايڊريس ۽ ورچوئل چينل تفويض ڪري ٿو. هر ڪئميرا لاءِ منفرد I2C ايڊريس سان هڪ منفرد ڊيوائس ٽري اوورلي ٺاهيو وڃي. CSI-2 RX ڊرائيور هر ڪئميرا کي منفرد ورچوئل چينل نمبر استعمال ڪندي سڃاڻي ٿو ۽ هر ڪئميرا اسٽريم لاءِ هڪ DMA تناظر ٺاهي ٿو. هر DMA تناظر لاءِ هڪ وڊيو نوڊ ٺاهيو ويندو آهي. پوءِ هر ڪئميرا مان ڊيٽا وصول ڪيو ويندو آهي ۽ DMA استعمال ڪندي ميموري ۾ محفوظ ڪيو ويندو آهي. يوزر اسپيس ايپليڪيشنون ڪئميرا ڊيٽا تائين رسائي حاصل ڪرڻ لاءِ هر ڪئميرا سان لاڳاپيل وڊيو نوڊ استعمال ڪنديون آهن. مثال طورampهن سافٽ ويئر آرڪيٽيڪچر جي استعمال جا طريقا باب 4 - ريفرنس ڊيزائن ۾ ڏنل آهن.

ڪو به مخصوص سينسر ڊرائيور جيڪو V4L2 فريم ورڪ سان مطابقت رکي ٿو، هن آرڪيٽيڪچر ۾ پلگ ۽ پلي ڪري سگهي ٿو. لينڪس SDK ۾ هڪ نئين سينسر ڊرائيور کي ڪيئن ضم ڪجي ان بابت [8] ڏسو.

تصويري پائپ لائن سافٽ ويئر آرڪيٽيڪچر

AM6x Linux SDK GStreamer (GST) فريم ورڪ فراهم ڪري ٿو، جيڪو مختلف ايپليڪيشنن لاءِ تصوير پروسيسنگ حصن کي ضم ڪرڻ لاءِ سروس اسپيس ۾ استعمال ڪري سگهجي ٿو. SoC تي هارڊويئر ايڪسيليٽر (HWA)، جهڙوڪ ويزن پري پروسيسنگ ايڪسيليٽر (VPAC) يا ISP، وڊيو انڪوڊر/ڊيڪوڊر، ۽ ڊيپ لرننگ ڪمپيوٽ انجن، GST ذريعي رسائي حاصل ڪري سگهجن ٿا. plugins. VPAC (ISP) ۾ پاڻ ۾ ڪيترائي بلاڪ آهن، جن ۾ ويزن اميجنگ سب سسٽم (VISS)، لينس ڊسٽورشن ڪريڪشن (LDC)، ۽ ملٽي اسڪيلر (MSC) شامل آهن، هر هڪ GST پلگ ان سان لاڳاپيل آهي.
شڪل 3-2 ڪئميرا کان انڪوڊنگ يا ڊيپ تائين هڪ عام تصويري پائپ لائن جو بلاڪ ڊاگرام ڏيکاري ٿي.
AM62A تي سکيا جون ايپليڪيشنون. اينڊ-ٽو-اينڊ ڊيٽا فلو بابت وڌيڪ تفصيلن لاءِ، EdgeAI SDK دستاويزن جو حوالو ڏيو.

AM62P لاءِ، تصويري پائپ لائن آسان آهي ڇاڪاڻ ته AM62P تي ڪو به ISP ناهي.

هر هڪ ڪئميرا لاءِ ٺاهيل هڪ وڊيو نوڊ سان، GStreamer تي ٻڌل تصويري پائپ لائن هڪ ئي وقت ڪيترن ئي ڪئميرا ان پٽن (ساڳي CSI-2 RX انٽرفيس ذريعي ڳنڍيل) جي پروسيسنگ جي اجازت ڏئي ٿي. ملٽي ڪئميرا ايپليڪيشنن لاءِ GStreamer استعمال ڪندي هڪ ريفرنس ڊيزائن ايندڙ باب ۾ ڏنو ويو آهي.

حوالو ڊيزائن

هي باب AM62A EVM تي ملٽي-ڪئميرا ايپليڪيشن هلائڻ جو هڪ ريفرنس ڊيزائن پيش ڪري ٿو، Arducam V3Link ڪئميرا سوليوشن ڪٽ استعمال ڪندي 4 CSI-2 ڪيمرائن کي AM62A سان ڳنڍڻ ۽ سڀني 4 ڪيمرائن لاءِ آبجيڪٽ ڊيٽيڪشن هلائڻ.

سپورٽ ٿيل ڪئميرا
Arducam V3Link ڪٽ FPD-Link/V3-Link-based ڪئميرائن ۽ Raspberry Pi-compatible CSI-2 ڪئميرائن ٻنهي سان ڪم ڪري ٿو. هيٺيان ڪيمرا آزمايا ويا آهن:

ڊي 3 انجنيئرنگ ڊي 3 آر سي ايم- آءِ ايم ايڪس 390-953
ليوپرڊ اميجنگ LI-OV2312-FPDLINKIII-110H
Arducam V219Link ڪئميرا حل ڪٽ ۾ IMX3 ڪئميرا

چار IMX219 ڪيمرا قائم ڪرڻ
AM62A اسٽارٽر ڪِٽ EVM ڪوئڪ اسٽارٽ گائيڊ ۾ ڏنل هدايتن تي عمل ڪريو ته جيئن SK-AM62A-LP EVM (AM62A SK) ۽ ArduCam V3Link ڪئميرا سوليوشن ڪوئڪ اسٽارٽ گائيڊ کي سيٽ اپ ڪري V62Link ڪٽ ذريعي ڪيمرا کي AM3A SK سان ڳنڍي سگهجي. پڪ ڪريو ته فليڪس ڪيبل، ڪيمرا، V3Link بورڊ، ۽ AM62A SK تي پن سڀ صحيح طرح سان ترتيب ڏنل آهن.

شڪل 4-1 هن رپورٽ ۾ ريفرنس ڊيزائن لاءِ استعمال ٿيل سيٽ اپ ڏيکاري ٿي. سيٽ اپ ۾ مکيه جزا شامل آهن:

1X SK-AM62A-LP EVM بورڊ
1X Arducam V3Link d-ch اڊاپٽر بورڊ
FPC ڪيبل جيڪو Arducam V3Link کي SK-AM62A سان ڳنڍي ٿو
4X V3Link ڪئميرا اڊاپٽر (سيريلائيزر)
V4Link سيريلائيزر کي V3Link d-ch ڪٽ سان ڳنڍڻ لاءِ 3X RF ڪواڪسيل ڪيبل
4X IMX219 ڪئميرا
ڪئميرا کي سيريلائيزر سان ڳنڍڻ لاءِ 4X CSI-2 22-پن ڪيبل
ڪيبل: HDMI ڪيبل، SK-AM62A-LP کي پاور ڏيڻ لاءِ USB-C ۽ V12Link d-ch ڪٽ لاءِ 3V پاور سورس ٿيل)
ٻيا جزا جيڪي شڪل 4-1 ۾ نه ڏيکاريا ويا آهن: مائڪرو ايس ڊي ڪارڊ، SK-AM62A-LP تائين رسائي لاءِ مائڪرو USB ڪيبل، ۽ اسٽريمنگ لاءِ ايٿرنيٽ

ڪئميرا ۽ CSI-2 RX انٽرفيس کي ترتيب ڏيڻ
Arducam V3Link Quick Start Guide ۾ ڏنل هدايتن مطابق سافٽ ويئر سيٽ اپ ڪريو. ڪئميرا سيٽ اپ اسڪرپٽ هلائڻ کان پوءِ، setup-imx219.sh، ڪئميرا جو فارميٽ، CSI-2 RX انٽرفيس فارميٽ، ۽ هر ڪئميرا کان لاڳاپيل وڊيو نوڊ تائين رستا صحيح طرح سان ترتيب ڏنا ويندا. چار IMX219 ڪيمرائن لاءِ چار وڊيو نوڊ ٺاهيا ويا آهن. ڪمانڊ "v4l2-ctl -list-devices" سڀني V4L2 وڊيو ڊوائيسز کي ڏيکاري ٿو، جيئن هيٺ ڏيکاريل آهي:

tiscsi6rx جي تحت 1 وڊيو نوڊس ۽ 2 ميڊيا نوڊ آهن. هر وڊيو نوڊ CSI2 RX ڊرائيور پاران مختص ڪيل DMA حوالي سان مطابقت رکي ٿو. 6 وڊيو نوڊس مان، 4 4 IMX219 ڪئميرا لاءِ استعمال ڪيا ويا آهن، جيئن هيٺ ڏنل ميڊيا پائپ ٽوپولوجي ۾ ڏيکاريل آهي:

جيئن مٿي ڏيکاريل آهي، ميڊيا اينٽيٽي 30102000.tici2rx ۾ 6 سورس پيڊ آهن، پر صرف پهرين 4 استعمال ڪيا ويا آهن، هر هڪ هڪ IMX219 لاءِ. ميڊيا پائپ ٽوپولوجي کي گرافڪ طور تي پڻ بيان ڪري سگهجي ٿو. هڪ ڊاٽ پيدا ڪرڻ لاءِ هيٺ ڏنل حڪم هلايو. file:

پوءِ هيٺ ڏنل حڪم کي لينڪس هوسٽ پي سي تي هلايو ته جيئن هڪ PNG ٺاهي سگهجي. file:

شڪل 4-2 مٿي ڏنل حڪمن کي استعمال ڪندي ٺاهيل هڪ تصوير آهي. شڪل 3-1 جي سافٽ ويئر آرڪيٽيڪچر ۾ جزا هن گراف ۾ ڳولي سگهجن ٿا.

چار ڪيمرائن مان اسٽريمنگ
هارڊويئر ۽ سافٽ ويئر ٻنهي جي صحيح سيٽ اپ سان، گھڻن ڪئميرا ايپليڪيشنون استعمال ڪندڙ جي جڳهه تان هلائي سگهجن ٿيون. AM62A لاءِ، سٺي تصوير جي معيار پيدا ڪرڻ لاءِ ISP کي ٽيون ڪيو وڃي. ISP ٽيوننگ ڪيئن ڪجي ان لاءِ AM6xA ISP ٽيوننگ گائيڊ جو حوالو ڏيو. هيٺيان حصا پيش ڪن ٿا مثالampڪئميرا ڊيٽا کي ڊسپلي تي اسٽريم ڪرڻ، ڪئميرا ڊيٽا کي نيٽ ورڪ تي اسٽريم ڪرڻ، ۽ ڪئميرا ڊيٽا کي اسٽور ڪرڻ جا طريقا files.

ڊسپلي ڪرڻ لاءِ ڪئميرا ڊيٽا اسٽريمنگ
هن ملٽي ڪيمرا سسٽم جو هڪ بنيادي استعمال سڀني ڪيمرائن مان وڊيوز کي ساڳئي SoC سان ڳنڍيل ڊسپلي تي اسٽريم ڪرڻ آهي. هيٺ ڏنل هڪ GStreamer پائپ لائن آهي.ampچار IMX219 کي ڊسپلي تي اسٽريم ڪرڻ جو طريقو (پائيپ لائن ۾ وڊيو نوڊ نمبر ۽ v4l-subdev نمبر ممڪن طور تي ريبوٽ کان ريبوٽ ۾ تبديل ٿيندا).

ايٿرنيٽ ذريعي ڪئميرا ڊيٽا اسٽريمنگ
ساڳئي SoC سان ڳنڍيل ڊسپلي تي اسٽريمنگ ڪرڻ جي بدران، ڪئميرا ڊيٽا کي ايٿرنيٽ ذريعي پڻ اسٽريم ڪري سگهجي ٿو. وصول ڪندڙ پاسي يا ته ٻيو AM62A/AM62P پروسيسر يا هڪ هوسٽ پي سي ٿي سگهي ٿو. هيٺ ڏنل هڪ مثال آهيampڪئميرا ڊيٽا کي ايٿرنيٽ ذريعي اسٽريم ڪرڻ جو طريقو (سادگي لاءِ ٻه ڪيمرا استعمال ڪندي) (پائيپ لائن ۾ استعمال ٿيندڙ انڪوڊر پلگ ان کي نوٽ ڪريو):

هيٺ ڏنل هڪ اڳوڻي آهيampڪئميرا ڊيٽا حاصل ڪرڻ ۽ ٻئي AM62A/AM62P پروسيسر تي ڊسپلي تي اسٽريمنگ ڪرڻ جو طريقو:

ڪئميرا ڊيٽا کي محفوظ ڪرڻ Files
ڊسپلي تي يا نيٽ ورڪ ذريعي اسٽريمنگ جي بدران، ڪئميرا ڊيٽا مقامي ۾ محفوظ ڪري سگهجي ٿو files. هيٺ ڏنل پائپ لائن هر ڪئميرا جي ڊيٽا کي هڪ ۾ محفوظ ڪري ٿي file (ٻه ڪيمرا استعمال ڪندي هڪ اڳوڻي طور تيampسادگي لاءِ لي).

ملٽي ڪئميرا ڊيپ لرننگ انفرنس

AM62A هڪ ڊيپ لرننگ ايڪسيليٽر (C7x-MMA) سان ليس آهي جنهن ۾ ٻه TOPS آهن، جيڪي درجه بندي، اعتراض جي ڳولا، سيمينٽڪ سيگمينٽيشن، ۽ وڌيڪ لاءِ مختلف قسمن جي ڊيپ لرننگ ماڊلز کي هلائڻ جي قابل آهن. هي سيڪشن ڏيکاري ٿو ته ڪيئن AM62A هڪ ئي وقت چار ڊيپ لرننگ ماڊلز کي چار مختلف ڪئميرا فيڊز تي هلائي سگهي ٿو.

ماڊل جي چونڊ
TI جو EdgeAI-ModelZoo سوين جديد ماڊل فراهم ڪري ٿو، جيڪي انهن جي اصل تربيتي فريم ورڪ مان هڪ اينيمبيڊڊ-فرينڊلي فارميٽ ۾ تبديل/برآمد ڪيا وڃن ٿا ته جيئن انهن کي C7x-MMA ڊيپ لرننگ ايڪسيليٽر تي آف لوڊ ڪري سگهجي. ڪلائوڊ تي ٻڌل Edge AI اسٽوڊيو ماڊل اينالائيزر استعمال ۾ آسان "ماڊل سليڪشن" ٽول فراهم ڪري ٿو. اهو متحرڪ طور تي TI EdgeAI-ModelZoo ۾ سپورٽ ڪيل سڀني ماڊلز کي شامل ڪرڻ لاءِ اپڊيٽ ڪيو ويو آهي. ٽول کي ڪنهن به اڳوڻي تجربي جي ضرورت ناهي ۽ گهربل ماڊل ۾ گهربل خاصيتون داخل ڪرڻ لاءِ استعمال ۾ آسان انٽرفيس فراهم ڪري ٿو.

هن ملٽي ڪئميرا ڊيپ لرننگ تجربي لاءِ TFL-OD-2000-ssd-mobV1-coco-mlperf چونڊيو ويو. هي ملٽي آبجيڪٽ ڊيٽيڪشن ماڊل ٽينسر فلو فريم ورڪ ۾ 300×300 ان پٽ ريزوليوشن سان تيار ڪيو ويو آهي. ٽيبل 4-1 هن ماڊل جون اهم خاصيتون ڏيکاري ٿو جڏهن cCOCO ڊيٽاسيٽ تي تقريباً 80 مختلف ڪلاسن سان تربيت ڏني وئي آهي.

ٽيبل 4-1. ماڊل TFL-OD-2000-ssd-mobV1-coco-mlperf جون خاصيتون نمايان ڪريو.

ماڊل	ڪم	قرارداد	ايف پي ايس	ايم اي پي 50٪ COCO تي درستگي	دير/فريم (ايم ايس)	ڊي ڊي آر بي ڊبليو استعمال (ايم بي / فريم)
ٽي ايف ايل-او ڊي-2000-ايس ايس ڊي- mobV1-coco-mlپرف	گھڻن شين جي ڳولا	300×300	~152	15.9	6.5	18.839

پائپ لائن سيٽ اپ
شڪل 4-3 4-ڪئميرا ڊيپ لرننگ GStreamer پائپ لائن ڏيکاري ٿي. TI GStreamer جو هڪ سوٽ مهيا ڪري ٿو. plugins جيڪي ڪجهه ميڊيا پروسيسنگ ۽ ڊيپ لرننگ انفرنس کي هارڊويئر ايڪسيليٽرز تي آف لوڊ ڪرڻ جي اجازت ڏين ٿا. ڪجهه مثالampانهن مان plugins tiovxisp، tiovxmultiscaler، tiovxmosaic، ۽ tidlinferer شامل آهن. شڪل 4-3 ۾ پائپ لائن ۾ سڀ گهربل شامل آهن plugins 4-ڪئميرا انپٽس لاءِ ملٽي پاٿ GStreamer پائپ لائن لاءِ، هر هڪ ميڊيا پري پروسيس، ڊيپ لرننگ انفرنس، ۽ پوسٽ پروسيس سان. نقل ٿيل plugins هر ڪئميرا جي رستن کي آسان مظاهري لاءِ گراف ۾ اسٽيڪ ڪيو ويو آهي.
موجود هارڊويئر وسيلا چئن ڪئميرا رستن ۾ برابر ورهايل آهن. مثال طور، AM62A ۾ ٻه تصوير ملٽي اسڪيلر شامل آهن: MSC0 ۽ MSC1. پائپ لائن واضح طور تي ڪئميرا 0 ۽ ڪئميرا 1 رستن کي پروسيس ڪرڻ لاءِ MSC2 کي وقف ڪري ٿي، جڏهن ته MSC1 ڪئميرا 3 ۽ ڪئميرا 4 لاءِ وقف آهي.

چئن ڪئميرا پائپ لائنن جي آئوٽ پُٽ کي tiovxmosaic پلگ ان استعمال ڪندي اسڪيل ڪيو ويو آهي ۽ گڏجي گڏ ڪيو ويو آهي. آئوٽ پُٽ هڪ اسڪرين تي ڏيکاريو ويو آهي. شڪل 4-4 چئن ڪيمرائن جي آئوٽ پُٽ کي ڏيکاري ٿو هڪ ڊيپ لرننگ ماڊل سان هلندڙ آبجيڪٽ ڊيٽيڪشن سان. هر پائپ لائن (ڪئميرا) 30 FPS تي هلي رهي آهي ۽ ڪل 120 FPS آهي.

اڳيون شڪل 4-3 ۾ ڏيکاريل ملٽي ڪئميرا ڊيپ لرننگ استعمال ڪيس لاءِ مڪمل پائپ لائن اسڪرپٽ آهي.

ڪارڪردگي جو تجزيو

V3Link بورڊ ۽ AM62A SK استعمال ڪندي چار ڪيمرائن سان سيٽ اپ کي مختلف ايپليڪيشن منظرنامي ۾ آزمايو ويو، جنهن ۾ اسڪرين تي سڌو سنئون ڊسپلي ڪرڻ، ايٿرنيٽ تي اسٽريمنگ (چار UDP چينل)، 4 الڳ الڳ رڪارڊنگ شامل آهن. files، ۽ ڊيپ لرننگ انفرنس سان. هر تجربي ۾، اسان فريم ريٽ ۽ سي پي يو ڪور جي استعمال جي نگراني ڪئي ته جيئن پوري سسٽم جي صلاحيتن کي ڳولي سگهجي.

جيئن اڳ ۾ شڪل 4-4 ۾ ڏيکاريل آهي، ڊيپ لرننگ پائپ لائن ٽائپرفورلي GStreamer پلگ ان استعمال ڪري ٿي ته جيئن سي پي يو ڪور لوڊ کي اسڪرين جي تري ۾ بار گراف طور ڏيکاري سگهجي. ڊفالٽ طور، گراف هر ٻن سيڪنڊن ۾ اپڊيٽ ڪيو ويندو آهي ته جيئن لوڊ کي استعمال جي فيصد طور ڏيکاري سگهجي.tage. tiperfoverlay GStreamer پلگ ان کان علاوه، perf_stats ٽول هڪ ٻيو آپشن آهي جيڪو ڪور ڪارڪردگي کي سڌو سنئون ٽرمينل تي ڏيکارڻ لاءِ هڪ آپشن سان گڏ هڪ ۾ محفوظ ڪرڻ لاءِ file. هي اوزار tTiperfoverlay جي مقابلي ۾ وڌيڪ صحيح آهي ڇاڪاڻ ته بعد وارو ARMm ڪور ۽ DDR تي گراف ڪڍڻ ۽ ان کي اسڪرين تي اوورلي ڪرڻ لاءِ اضافي لوڊ شامل ڪري ٿو. perf_stats ٽول بنيادي طور تي هن دستاويز ۾ ڏيکاريل سڀني ٽيسٽ ڪيسن ۾ هارڊويئر استعمال جا نتيجا گڏ ڪرڻ لاءِ استعمال ڪيو ويندو آهي. انهن ٽيسٽن ۾ مطالعي ڪيل ڪجهه اهم پروسيسنگ ڪور ۽ ايڪسيليٽر شامل آهن مکيه پروسيسرز (چار A53 آرم ڪور @ 1.25GHz)، ڊيپ لرننگ ايڪسيليٽر (C7x-MMA @ 850MHz)، VPAC (ISP) VISS ۽ ملٽي اسڪيلرز (MSC0 ۽ MSC1) سان، ۽ DDR آپريشن.

ٽيبل 5-1 ٽن استعمال جي ڪيسن لاءِ چار ڪيمرائن سان AM62A استعمال ڪرڻ وقت ڪارڪردگي ۽ وسيلن جي استعمال کي ڏيکاري ٿو، جنهن ۾ چار ڪيمرائن کي ڊسپلي تي اسٽريم ڪرڻ، ايٿرنيٽ تي اسٽريمنگ، ۽ چار الڳ الڳ رڪارڊنگ شامل آهن. files. هر استعمال جي صورت ۾ ٻه ٽيسٽ لاڳو ڪيا ويا آهن: صرف ڪئميرا سان ۽ ڊيپ لرننگ انفرنس سان. ان کان علاوه، ٽيبل 5-1 ۾ پهرين قطار هارڊويئر استعمال کي ڏيکاري ٿي جڏهن صرف آپريٽنگ سسٽم AM62A تي بغير ڪنهن صارف جي ايپليڪيشنن جي هلي رهيو هو. اهو ٻين ٽيسٽ ڪيسن جي هارڊويئر استعمال جي تشخيص ڪرڻ وقت مقابلي لاءِ بنيادي طور تي استعمال ڪيو ويندو آهي. جيئن ٽيبل ۾ ڏيکاريل آهي، ڊيپ لرننگ ۽ اسڪرين ڊسپلي سان چار ڪيمرا هر هڪ 30 FPS تي هلندا هئا، چئن ڪيمرا لاءِ ڪل 120 FPS سان. هي اعليٰ فريم ريٽ ڊيپ لرننگ ايڪسيليٽر (C86x-MMA) جي مڪمل گنجائش جي صرف 7٪ سان حاصل ڪيو ويندو آهي. ان کان علاوه، اهو نوٽ ڪرڻ ضروري آهي ته ڊيپ لرننگ ايڪسيليٽر انهن تجربن ۾ 850MHz جي بدران 1000MHz تي ڪلاڪ ڪيو ويو، جيڪو ان جي وڌ ۾ وڌ ڪارڪردگي جو صرف 85٪ آهي.

ٽيبل 5-1. AM62A جي ڪارڪردگي (FPS) ۽ وسيلن جي استعمال جڏهن اسڪرين ڊسپلي، ايٿرنيٽ اسٽريم، رڪارڊ ٽو لاءِ 4 IMX219 ڪئميرا سان استعمال ڪيو ويندو آهي Files، ۽ ڊيپ لرننگ انفرنسنگ پرفارمنگ

ايپليڪيشن n	پائپ لائن (آپريشن) )	ٻاھر	ايف پي ايس سراسري پائپ لائن s	ايف پي ايس ڪل	ايم پي يوز اي 53ز @ 1.25 گيگا هرٽز [٪]	ايم سي يو آر 5 [٪]	ڊي ايل اي (سي 7 ايڪس- ايم ايم اي) @ 850 ميگا هرٽز [٪]	ويزا [٪]	ايم ايس سي 0 [٪]	ايم ايس سي 1 [٪]	ڊي ڊي آر روڊ [ايم بي/س]	ڊي ڊي آر ور [ايم بي/سڪند]	ڊي ڊي آر ڪُل [ايم بي/سيڪنڊ]
ڪابه ايپ ناهي	بيس لائين ڪابه آپريشن ناهي	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
ڪئميرا صرف	وهڪرو اسڪرين ڏانهن	اسڪرين	30	120	12	12	0	70	61	60	1015	757	1782
	ايٿرنيٽ تي وهڪرو ڪريو	پي ڊي يو: 4 بندرگاهن 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	رڪارڊ جي طرف files	4 file1920×1080 جو	30	120	25	3	0	70	0	0	2100	1403	3503
ڪيم ڊيپ لرننگ سان	ڊيپ لرننگ: آبجيڪٽ ڊيٽيڪشن MobV1- ڪوڪو	اسڪرين	30	120	38	25	86	71	85	82	2926	1676	4602
	ڊيپ لرننگ: آبجيڪٽ ڊيٽيڪشن MobV1- ڪوڪو ۽ اسٽريم اوور ايٿرنيٽ	پي ڊي يو: 4 بندرگاهن 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	ڊيپ لرننگ: آبجيڪٽ ڊيٽيڪشن MobV1- ڪوڪو ۽ رڪارڊ ٽو files	4 file1920×1080 جو	28	112	87	22	98	75	82	61	2024	2458	6482

خلاصو
هي ايپليڪيشن رپورٽ بيان ڪري ٿي ته AM6x ڊوائيسز جي خاندان تي ملٽي ڪئميرا ايپليڪيشنن کي ڪيئن لاڳو ڪجي. رپورٽ ۾ Arducam جي V3Link ڪئميرا سوليوشن ڪٽ ۽ AM62A SK EVM تي ٻڌل هڪ ريفرنس ڊيزائن مهيا ڪئي وئي آهي، جنهن ۾ ڪيترائي ڪئميرا ايپليڪيشن چار IMX219 ڪئميرا استعمال ڪن ٿا، جهڙوڪ اسٽريمنگ ۽ آبجيڪٽ ڊيٽيڪشن. صارفين کي Arducam کان V3Link ڪئميرا سوليوشن ڪٽ حاصل ڪرڻ ۽ انهن مثالن کي نقل ڪرڻ جي ترغيب ڏني وئي آهي.ampگهٽ ۾ گهٽ. رپورٽ AM62A جي ڪارڪردگي جو تفصيلي تجزيو پڻ فراهم ڪري ٿي جڏهن ته مختلف ترتيبن هيٺ چار ڪيمرائون استعمال ڪندي، جنهن ۾ اسڪرين تي ڊسپلي ڪرڻ، ايٿرنيٽ تي اسٽريمنگ، ۽ رڪارڊنگ شامل آهن. files. اهو AM62A جي چار الڳ ڪئميرا اسٽريمز تي متوازي طور تي ڊيپ لرننگ انفرنس ڪرڻ جي صلاحيت پڻ ڏيکاري ٿو. جيڪڏهن انهن اڳوڻين کي هلائڻ بابت ڪو سوال آهي تهampها، TI E2E فورم تي هڪ پڇا ڳاڇا جمع ڪرايو.

حوالو

AM62A اسٽارٽر ڪٽ EVM ڪوئڪ اسٽارٽ گائيڊ
آرڊو ڪيم وي 3 لنڪ ڪئميرا حل جلدي شروع ڪرڻ جي گائيڊ
AM62A لاءِ ايج AI SDK دستاويز
توانائي-موثر AM62A پروسيسر استعمال ڪندي ايج AI سمارٽ ڪئميرا
AM62A تي ڪئميرا مرر سسٽم
AM62A تي ڊرائيور ۽ قبضي جي نگراني جا نظام
چوڌاري لاءِ ڪواڊ چينل ڪئميرا ايپليڪيشن View ۽ سي ايم ايس ڪئميرا سسٽم
AM62Ax لينڪس اڪيڊمي CIS-2 سينسر کي فعال ڪرڻ تي
ايج اي آءِ ماڊل زو
ايج اي آءِ اسٽوڊيو
Perf_stats اوزار

هن ايپليڪيشن ۾ حوالو ڏنل TI حصا نوٽ:

اھم نوٽس ۽ ڊس ڪليمر

TI مهيا ڪري ٿي ٽيڪنيڪل ۽ قابل اعتماد ڊيٽا (ڊيٽا شيٽ سميت)، ڊيزائن جا وسيلا (جنهن ۾ ريفرنس ڊزائينز شامل آهن)، درخواست يا ٻيون ڊزائين صلاحون، WEB اوزار، حفاظتي معلومات، ۽ ٻيا وسيلا "جيئن آهي" ۽ سڀني غلطين سان، ۽ سڀني وارنٽيز کي رد ڪري ٿو، بيان ڪيل ۽ مضمر، بشمول ڪنهن به پابنديءَ جي بغير ڪنهن به قسم جي ضمانت وارن وارنٽيز جي ذميوار آفيسرن جي ذميواري ٽئين پارٽي جي دانشورانه ملڪيت جي حقن جي غير خلاف ورزي .

اهي وسيلا TI پروڊڪٽس سان ڊزائين ڪرڻ وارا ماهر ڊولپرز لاءِ آهن. توهان صرف ان لاء ذميوار آهيو

توهان جي ايپليڪيشن لاءِ مناسب TI پروڊڪٽس چونڊڻ،
توهان جي ايپليڪيشن کي ڊزائين ڪرڻ، تصديق ڪرڻ، ۽ جانچ ڪرڻ، ۽
پڪ ڪرڻ ته توهان جي درخواست لاڳو معيارن، ۽ ڪنهن ٻئي حفاظت، سيڪيورٽي، ريگيوليٽري، يا ٻين گهرجن کي پورو ڪري ٿي.

اهي وسيلا بغير ڪنهن اطلاع جي تبديليءَ جي تابع آهن. TI توهان کي انهن وسيلن کي صرف هڪ ايپليڪيشن جي ترقي لاءِ استعمال ڪرڻ جي اجازت ڏئي ٿو جيڪا وسيلن ۾ بيان ڪيل TI شين کي استعمال ڪري ٿي. انهن وسيلن جي ٻي نقل ۽ ڊسپلي منع ٿيل آهي. ڪنهن ٻئي TI دانشورانه ملڪيت جي حق يا ڪنهن ٽئين پارٽي دانشورانه ملڪيت جي حق کي ڪو به لائسنس نه ڏنو ويو آهي. TI انهن وسيلن جي استعمال مان پيدا ٿيندڙ ڪنهن به دعوائن، نقصانن، خرچن، نقصانن ۽ ذميوارين جي ذميواري کان انڪار ڪري ٿو، ۽ توهان TI ۽ ان جي نمائندن کي مڪمل طور تي معاوضو ڏيندا.

TI جون شيون مهيا ڪيون وينديون آهن TI جي وڪري جي شرطن يا ٻين قابل اطلاق شرطن تي دستياب ti.com يا اهڙين TI پروڊڪٽس سان گڏ مهيا ڪيل. TI جي انهن وسيلن جي فراهمي کي وڌايو يا ٻي صورت ۾ TI جي قابل اطلاق وارنٽي يا وارنٽي رد ڪرڻ وارن کي تبديل نٿو ڪري.

TI اعتراض ڪري ٿو ۽ رد ڪري ٿو ڪنهن به اضافي يا مختلف شرطن کي جيڪو توهان تجويز ڪيو هجي.

اهم نوٽيس

ٽپال جو پتو: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

اڪثر پڇيا ويا سوال

سوال: ڇا مان AM6x ڊوائيسز جي خاندان سان ڪنهن به قسم جو ڪئميرا استعمال ڪري سگهان ٿو؟

AM6x فيملي مختلف ڪئميرا قسمن جي سپورٽ ڪري ٿي، جن ۾ بلٽ ان ISP سان يا ان کان سواءِ شامل آهن. سپورٽ ٿيل ڪئميرا قسمن بابت وڌيڪ تفصيل لاءِ وضاحتن جو حوالو ڏيو.

: تصوير پروسيسنگ ۾ AM62A ۽ AM62P جي وچ ۾ مکيه فرق ڪهڙا آهن؟

اهم تبديلين ۾ سپورٽ ٿيل ڪئميرا جا قسم، ڪئميرا آئوٽ پُٽ ڊيٽا، ISP HWA جي موجودگي، ڊيپ لرننگ HWA، ۽ 3-D گرافڪس HWA شامل آهن. تفصيلي مقابلي لاءِ وضاحتن واري حصي جو حوالو ڏيو.

دستاويز / وسيلا

ٽيڪساس انسٽرومينٽس AM6x ملٽيپل ڪيمرا ٺاهي رهيو آهي [pdf] استعمال ڪندڙ ھدايت
AM62A، AM62P، AM6x گھڻن ڪئميرا ٺاهڻ، AM6x، گھڻن ڪئميرا ٺاهڻ، گھڻن ڪئميرا، ڪئميرا

حوالو

استعمال ڪندڙ دستي

ٽيڪساس انسٽرومينٽس AM6x ڪيترائي ڪيمرا ٺاهي رهيو آهي

وضاحتون