Texas Instruments AM6x ایک سے زیادہ کیمرے تیار کر رہا ہے۔

وضاحتیں

• پروڈکٹ کا نام: آلات کی AM6x فیملی
• معاون کیمرے کی قسم: AM62A (بلٹ ان ISP کے ساتھ یا اس کے بغیر)، AM62P (بلٹ ان ISP کے ساتھ)
• کیمرہ آؤٹ پٹ ڈیٹا: AM62A (Raw/YUV/RGB)، AM62P (YUV/RGB)
• ISP HWA: AM62A (ہاں)، AM62P (نہیں)
• ڈیپ لرننگ HWA: AM62A (ہاں)، AM62P (نہیں)
• 3-D گرافکس HWA: AM62A (نہیں)، AM62P (ہاں)

AM6x پر ایک سے زیادہ کیمرہ ایپلی کیشنز کا تعارف:

• ایمبیڈڈ کیمرے جدید ویژن سسٹم میں اہم کردار ادا کرتے ہیں۔
• ایک سسٹم میں ایک سے زیادہ کیمروں کا استعمال صلاحیتوں کو بڑھاتا ہے اور ایسے کاموں کو قابل بناتا ہے جو ایک کیمرے سے حاصل نہیں ہوتے۔

ایک سے زیادہ کیمروں کا استعمال کرتے ہوئے ایپلی کیشنز:

• حفاظتی نگرانی: نگرانی کی کوریج، آبجیکٹ سے باخبر رہنے، اور شناخت کی درستگی کو بڑھاتا ہے۔
• گھیراؤ View: رکاوٹ کا پتہ لگانے اور آبجیکٹ میں ہیرا پھیری جیسے کاموں کے لیے سٹیریو ویژن کو قابل بناتا ہے۔
• کیبن ریکارڈر اور کیمرہ مرر سسٹم: توسیع شدہ کوریج فراہم کرتا ہے اور اندھے دھبوں کو ختم کرتا ہے۔
• میڈیکل امیجنگ: جراحی نیویگیشن اور اینڈوسکوپی میں بہتر صحت سے متعلق پیش کرتا ہے۔
• ڈرون اور فضائی امیجنگ: مختلف ایپلی کیشنز کے لیے مختلف زاویوں سے ہائی ریزولوشن کی تصاویر کیپچر کریں۔

ایک سے زیادہ CSI-2 کیمروں کو SoC سے جوڑنا:
متعدد CSI-2 کیمروں کو SoC سے مربوط کرنے کے لیے، صارف کے دستی میں فراہم کردہ رہنما خطوط پر عمل کریں۔ ہر کیمرے کی مناسب سیدھ اور SoC پر متعین پورٹس سے کنکشن کو یقینی بنائیں۔

درخواست کا نوٹ
AM6x پر ایک سے زیادہ کیمرہ ایپلی کیشنز تیار کرنا

جیان زونگ سو، قطیبہ صالح

خلاصہ
یہ رپورٹ آلات کی AM2x فیملی پر ایک سے زیادہ CSI-6 کیمروں کا استعمال کرتے ہوئے ایپلیکیشن ڈویلپمنٹ کی وضاحت کرتی ہے۔ AM4A SoC پر 62 کیمروں پر گہری سیکھنے کے ساتھ آبجیکٹ کا پتہ لگانے کا ایک حوالہ ڈیزائن کارکردگی کے تجزیہ کے ساتھ پیش کیا گیا ہے۔ ڈیزائن کے عمومی اصول CSI-2 انٹرفیس کے ساتھ دیگر SoCs پر لاگو ہوتے ہیں، جیسے AM62x اور AM62P۔

تعارف

ایمبیڈڈ کیمرے جدید وژن سسٹم میں اہم کردار ادا کرتے ہیں۔ ایک سسٹم میں متعدد کیمروں کا استعمال ان سسٹمز کی صلاحیتوں کو وسعت دیتا ہے اور ان صلاحیتوں کو قابل بناتا ہے جو ایک کیمرے سے ممکن نہیں ہیں۔ ذیل میں کچھ سابق ہیں۔ampایک سے زیادہ ایمبیڈڈ کیمروں کا استعمال کرتے ہوئے ایپلی کیشنز:

• حفاظتی نگرانی: حکمت عملی سے رکھے گئے متعدد کیمرے جامع نگرانی کی کوریج فراہم کرتے ہیں۔ وہ پینورامک کو فعال کرتے ہیں۔ views، اندھے دھبوں کو کم کرنا، اور آبجیکٹ سے باخبر رہنے اور شناخت کی درستگی کو بڑھانا، مجموعی حفاظتی اقدامات کو بہتر بنانا۔
• گھیراؤ View: ایک سے زیادہ کیمرے ایک سٹیریو ویژن سیٹ اپ بنانے کے لیے استعمال کیے جاتے ہیں، جس سے تین جہتی معلومات اور گہرائی کا اندازہ لگایا جا سکتا ہے۔ یہ خود مختار گاڑیوں میں رکاوٹ کا پتہ لگانے، روبوٹکس میں آبجیکٹ کے عین مطابق ہیرا پھیری، اور بڑھا ہوا حقیقت کے تجربات کی بہتر حقیقت پسندی جیسے کاموں کے لیے بہت اہم ہے۔
• کیبن ریکارڈر اور کیمرہ مرر سسٹم: ایک سے زیادہ کیمروں والا کار کیبن ریکارڈر ایک پروسیسر کا استعمال کرتے ہوئے زیادہ کوریج فراہم کر سکتا ہے۔ اسی طرح، دو یا دو سے زیادہ کیمروں والا کیمرہ آئینے کا نظام ڈرائیور کے فیلڈ کو بڑھا سکتا ہے۔ view اور گاڑی کے تمام اطراف سے اندھے دھبوں کو ختم کریں۔
• میڈیکل امیجنگ: ایک سے زیادہ کیمرے میڈیکل امیجنگ میں سرجیکل نیویگیشن جیسے کاموں کے لیے استعمال کیے جا سکتے ہیں، سرجنوں کو بہتر درستگی کے لیے متعدد نقطہ نظر فراہم کرتے ہیں۔ اینڈوسکوپی میں، ایک سے زیادہ کیمرے اندرونی اعضاء کی مکمل جانچ کے قابل بناتے ہیں۔
• ڈرونز اور ایریل امیجنگ: ڈرون اکثر مختلف زاویوں سے ہائی ریزولوشن امیجز یا ویڈیوز حاصل کرنے کے لیے متعدد کیمروں سے لیس آتے ہیں۔ یہ فضائی فوٹو گرافی، زراعت کی نگرانی، اور زمین کے سروے جیسی ایپلی کیشنز میں مفید ہے۔
• مائیکرو پروسیسرز کی ترقی کے ساتھ، متعدد کیمروں کو ایک ہی سسٹم آن چپ میں ضم کیا جا سکتا ہے۔
  (SoC) کومپیکٹ اور موثر حل فراہم کرنے کے لیے۔ AM62Ax SoC، اعلی کارکردگی والی ویڈیو/وژن پروسیسنگ اور گہری سیکھنے کی سرعت کے ساتھ، اوپر بیان کردہ استعمال کے معاملات کے لیے ایک مثالی آلہ ہے۔ ایک اور AM6x ڈیوائس، AM62P، اعلی کارکردگی والے ایمبیڈڈ 3D ڈسپلے ایپلی کیشنز کے لیے بنایا گیا ہے۔ 3D گرافکس ایکسلریشن سے لیس، AM62P ایک سے زیادہ کیمروں سے تصاویر کو آسانی سے سلائی کر سکتا ہے اور ایک ہائی ریزولوشن پینورامک بنا سکتا ہے۔ view. AM62A/AM62P SoC کی اختراعی خصوصیات کو مختلف اشاعتوں میں پیش کیا گیا ہے، جیسے [4], [5], [6]، وغیرہ۔ یہ ایپلیکیشن نوٹ ان خصوصیات کی تفصیل کو نہیں دہرائے گا بلکہ AM2A/AM62P پر ایمبیڈڈ ویژن ایپلی کیشنز میں متعدد CSI-62 کیمروں کو ضم کرنے پر توجہ مرکوز کرتا ہے۔
• جہاں تک امیج پروسیسنگ کا تعلق ہے جدول 1-1 AM62A اور AM62P کے درمیان بنیادی فرق کو ظاہر کرتا ہے۔

جدول 1-1۔ امیج پروسیسنگ میں AM62A اور AM62P کے درمیان فرق

ایک سے زیادہ CSI-2 کیمروں کو SoC سے جوڑنا
AM6x SoC پر کیمرہ سب سسٹم مندرجہ ذیل اجزاء پر مشتمل ہے، جیسا کہ شکل 2-1 میں دکھایا گیا ہے:

• MIPI D-PHY وصول کنندہ: بیرونی کیمروں سے ویڈیو اسٹریمز وصول کرتا ہے، 1.5 لین کے لیے فی ڈیٹا لین 4 Gbps تک سپورٹ کرتا ہے۔
• CSI-2 وصول کنندہ (RX): D-PHY وصول کنندہ سے ویڈیو اسٹریمز وصول کرتا ہے اور یا تو براہ راست اسٹریمز کو ISP کو بھیجتا ہے یا ڈیٹا کو DDR میموری میں پھینک دیتا ہے۔ یہ ماڈیول 16 ورچوئل چینلز کو سپورٹ کرتا ہے۔
• SHIM: ایک DMA ریپر جو کیپچر شدہ اسٹریمز کو DMA پر میموری میں بھیجنے کے قابل بناتا ہے۔ اس ریپر کے ذریعے متعدد DMA سیاق و سباق بنائے جا سکتے ہیں، ہر سیاق و سباق CSI-2 وصول کنندہ کے ورچوئل چینل سے مطابقت رکھتا ہے۔

CSI-6 RX کے ورچوئل چینلز کے استعمال کے ذریعے AM2x پر متعدد کیمروں کو سپورٹ کیا جا سکتا ہے، حالانکہ SoC پر صرف ایک CSI-2 RX انٹرفیس ہے۔ ایک سے زیادہ کیمرہ اسٹریمز کو یکجا کرنے اور انہیں ایک SoC پر بھیجنے کے لیے ایک بیرونی CSI-2 مجموعی جزو کی ضرورت ہے۔ CSI-2 کے مجموعی حل کی دو قسمیں استعمال کی جا سکتی ہیں، جن کو درج ذیل حصوں میں بیان کیا گیا ہے۔

CSI-2 Aggregator SerDes استعمال کر رہا ہے۔
ایک سے زیادہ کیمرہ اسٹریمز کو یکجا کرنے کا ایک طریقہ یہ ہے کہ سیریلائزنگ اور ڈی سیریلائزنگ (SerDes) حل استعمال کریں۔ ہر کیمرے سے CSI-2 ڈیٹا کو سیریلائزر کے ذریعے تبدیل کیا جاتا ہے اور کیبل کے ذریعے منتقل کیا جاتا ہے۔ ڈیسیریلائزر کیبلز سے منتقل کردہ تمام سیریلائزڈ ڈیٹا وصول کرتا ہے (ایک کیمرہ ایک کیمرہ)، اسٹریمز کو واپس CSI-2 ڈیٹا میں تبدیل کرتا ہے، اور پھر SoC پر سنگل CSI-2 RX انٹرفیس میں ایک انٹرلیویڈ CSI-2 اسٹریم بھیجتا ہے۔ ہر کیمرے کے سلسلے کی شناخت ایک منفرد ورچوئل چینل سے ہوتی ہے۔ یہ مجموعی حل کیمروں سے SoC تک 15m تک طویل فاصلے کے کنکشن کی اجازت دینے کا اضافی فائدہ پیش کرتا ہے۔

FPD-Link یا V3-Link سیریلائزرز اور ڈیسیریلائزرز (SerDes)، جو AM6x Linux SDK میں تعاون یافتہ ہیں، اس قسم کے CSI-2 کے مجموعی حل کے لیے مقبول ترین ٹیکنالوجیز ہیں۔ FPD-Link اور V3-Link ڈیسیریلائزرز دونوں میں بیک چینلز ہیں جو کہ تمام کیمروں کو ہم آہنگ کرنے کے لیے فریم سنک سگنل بھیجنے کے لیے استعمال کیے جا سکتے ہیں، جیسا کہ [7] میں بیان کیا گیا ہے۔
شکل 2-2 ایک سابق کو ظاہر کرتی ہے۔ampایک سے زیادہ کیمروں کو ایک ہی AM6x SoC سے جوڑنے کے لیے SerDes استعمال کرنے کا طریقہ۔

ایک سابقampاس مجموعی حل کو Arducam V3Link کیمرہ سلوشن کٹ میں پایا جا سکتا ہے۔ اس کٹ میں ایک ڈیسیریلائزر ہب ہے جو 4 CSI-2 کیمرہ اسٹریمز کے ساتھ ساتھ V4link سیریلائزرز اور IMX3 کیمروں کے 219 جوڑوں کو جمع کرتا ہے، بشمول FAKRA کواکسیئل کیبلز اور 22-pin FPC کیبلز۔ بعد میں زیر بحث ریفرنس ڈیزائن اس کٹ پر بنایا گیا ہے۔

SerDes استعمال کیے بغیر CSI-2 ایگریگیٹر
اس قسم کا ایگریگیٹر متعدد MIPI CSI-2 کیمروں کے ساتھ براہ راست انٹرفیس کرسکتا ہے اور تمام کیمروں سے ڈیٹا کو ایک ہی CSI-2 آؤٹ پٹ اسٹریم میں جمع کرسکتا ہے۔

شکل 2-3 ایک سابق کو ظاہر کرتی ہے۔ampاس طرح کے نظام کی. اس قسم کا مجموعی حل کوئی سیریلائزر/ڈیسیریلائزر استعمال نہیں کرتا ہے لیکن CSI-2 ڈیٹا ٹرانسفر کے زیادہ سے زیادہ فاصلے تک محدود ہے، جو کہ 30cm تک ہے۔ AM6x Linux SDK اس قسم کے CSI-2 ایگریگیٹر کی حمایت نہیں کرتا ہے۔

سافٹ ویئر میں ایک سے زیادہ کیمروں کو فعال کرنا

کیمرہ سب سسٹم سافٹ ویئر آرکیٹیکچر
شکل 3-1 AM62A/AM62P لینکس SDK میں کیمرہ کیپچر سسٹم سافٹ ویئر کا ایک اعلیٰ سطحی بلاک ڈایاگرام دکھاتا ہے، جو کہ شکل 2-2 میں HW سسٹم کے مطابق ہے۔

• یہ سافٹ ویئر آرکیٹیکچر SoC کو SerDes کے استعمال کے ساتھ متعدد کیمرہ اسٹریمز حاصل کرنے کے قابل بناتا ہے، جیسا کہ شکل 2-2 میں دکھایا گیا ہے۔ FPD-Link/V3-Link SerDes ہر کیمرے کو ایک منفرد I2C پتہ اور ورچوئل چینل تفویض کرتا ہے۔ ہر کیمرے کے لیے منفرد I2C ایڈریس کے ساتھ ایک منفرد ڈیوائس ٹری اوورلے بنایا جانا چاہیے۔ CSI-2 RX ڈرائیور منفرد ورچوئل چینل نمبر کا استعمال کرتے ہوئے ہر کیمرے کو پہچانتا ہے اور فی کیمرہ سٹریم پر ایک DMA سیاق و سباق تخلیق کرتا ہے۔ ہر DMA سیاق و سباق کے لیے ایک ویڈیو نوڈ بنایا جاتا ہے۔ پھر ہر کیمرے سے ڈیٹا وصول کیا جاتا ہے اور DMA کا استعمال کرتے ہوئے اس کے مطابق میموری میں محفوظ کیا جاتا ہے۔ یوزر اسپیس ایپلی کیشنز کیمرے کے ڈیٹا تک رسائی کے لیے ہر کیمرے سے متعلقہ ویڈیو نوڈس کا استعمال کرتی ہیں۔ سابقampاس سافٹ ویئر کے فن تعمیر کو استعمال کرنے کی تفصیلات باب 4 - حوالہ ڈیزائن میں دی گئی ہیں۔
• کوئی بھی مخصوص سینسر ڈرائیور جو V4L2 فریم ورک کے مطابق ہے اس فن تعمیر میں پلگ اور چلا سکتا ہے۔ لینکس SDK میں نئے سینسر ڈرائیور کو کیسے ضم کرنے کے بارے میں [8] سے رجوع کریں۔

امیج پائپ لائن سافٹ ویئر آرکیٹیکچر

• AM6x Linux SDK GStreamer (GST) فریم ورک فراہم کرتا ہے، جسے مختلف ایپلی کیشنز کے لیے امیج پروسیسنگ کے اجزاء کو مربوط کرنے کے لیے ser space میں استعمال کیا جا سکتا ہے۔ ایس او سی پر ہارڈ ویئر ایکسلریٹر (HWA)، جیسے ویژن پری پروسیسنگ ایکسلریٹر (VPAC) یا ISP، ویڈیو انکوڈر/ڈیکوڈر، اور ڈیپ لرننگ کمپیوٹ انجن، تک GST کے ذریعے رسائی حاصل کی جاتی ہے۔ plugins. خود VPAC (ISP) میں متعدد بلاکس ہیں، بشمول Vision Imaging Sub-System (VISS)، Lens Distortion Correction (LDC)، اور Multiscalar (MSC)، ہر ایک GST پلگ ان سے مطابقت رکھتا ہے۔
• تصویر 3-2 کیمرے سے انکوڈنگ یا گہرائی تک ایک عام امیج پائپ لائن کے بلاک ڈایاگرام کو دکھاتی ہے۔
  AM62A پر سیکھنے کی ایپلی کیشنز۔ اختتام سے آخر تک ڈیٹا کے بہاؤ کے بارے میں مزید تفصیلات کے لیے، EdgeAI SDK دستاویزات سے رجوع کریں۔

AM62P کے لیے، امیج پائپ لائن آسان ہے کیونکہ AM62P پر کوئی ISP نہیں ہے۔

ہر ایک کیمرہ کے لیے بنائے گئے ویڈیو نوڈ کے ساتھ، GStreamer پر مبنی امیج پائپ لائن بیک وقت متعدد کیمرہ ان پٹ (اسی CSI-2 RX انٹرفیس کے ذریعے منسلک) کی پروسیسنگ کی اجازت دیتی ہے۔ ملٹی کیمرہ ایپلی کیشنز کے لیے GStreamer کا استعمال کرتے ہوئے ایک حوالہ ڈیزائن اگلے باب میں دیا گیا ہے۔

حوالہ ڈیزائن

یہ باب AM62A EVM پر 3 CSI-4 کیمروں کو AM2A سے جوڑنے کے لیے Arducam V62Link کیمرہ سلوشن کٹ کا استعمال کرتے ہوئے اور تمام 4 کیمروں کے لیے آبجیکٹ کا پتہ لگانے کے لیے ایک سے زیادہ کیمرہ ایپلی کیشنز چلانے کا حوالہ ڈیزائن پیش کرتا ہے۔

تائید شدہ کیمرے۔
Arducam V3Link کٹ دونوں FPD-Link/V3-Link پر مبنی کیمروں اور Raspberry Pi-compatible CSI-2 کیمروں کے ساتھ کام کرتی ہے۔ درج ذیل کیمروں کا تجربہ کیا گیا ہے۔

• D3 انجینئرنگ D3RCM-IMX390-953
• Leopard Imaging LI-OV2312-FPDLINKIII-110H
• Arducam V219Link کیمرہ سلوشن کٹ میں IMX3 کیمرے

چار IMX219 کیمروں کی ترتیب
SK-AM62A-LP EVM (AM62A SK) سیٹ اپ کرنے کے لیے AM62A Starter Kit EVM کوئیک سٹارٹ گائیڈ میں دی گئی ہدایات پر عمل کریں اور V3Link کٹ کے ذریعے کیمروں کو AM62A SK سے منسلک کرنے کے لیے ArduCam V3Link کیمرہ سلوشن کوئیک سٹارٹ گائیڈ۔ اس بات کو یقینی بنائیں کہ فلیکس کیبلز، کیمرے، V3Link بورڈ، اور AM62A SK پر موجود پن ٹھیک طرح سے منسلک ہیں۔

شکل 4-1 اس رپورٹ میں حوالہ ڈیزائن کے لیے استعمال کیے گئے سیٹ اپ کو دکھاتی ہے۔ سیٹ اپ میں اہم اجزاء شامل ہیں:

• 1X SK-AM62A-LP EVM بورڈ
• 1X Arducam V3Link d-ch اڈاپٹر بورڈ
• FPC کیبل Arducam V3Link کو SK-AM62A سے جوڑ رہی ہے۔
• 4X V3Link کیمرہ اڈاپٹر (سیریلائزر)
• V4Link سیریلائزرز کو V3Link d-ch کٹ سے جوڑنے کے لیے 3X RF سماکشی کیبلز
• 4X IMX219 کیمرے
• کیمروں کو سیریلائزرز سے جوڑنے کے لیے 4X CSI-2 22 پن کیبلز
• کیبلز: HDMI کیبل، SK-AM62A-LP کو پاور کرنے کے لیے USB-C اور V12Link d-ch کٹ کے لیے حاصل کردہ 3V پاور)
• دیگر اجزاء جو شکل 4-1 میں نہیں دکھائے گئے ہیں: مائیکرو-SD کارڈ، SK-AM62A-LP تک رسائی کے لیے مائیکرو-USB کیبل، اور اسٹریمنگ کے لیے ایتھرنیٹ

کیمروں اور CSI-2 RX انٹرفیس کو ترتیب دینا
Arducam V3Link Quick Start Guide میں فراہم کردہ ہدایات کے مطابق سافٹ ویئر سیٹ اپ کریں۔ کیمرہ سیٹ اپ اسکرپٹ کو چلانے کے بعد، setup-imx219.sh، کیمرے کا فارمیٹ، CSI-2 RX انٹرفیس فارمیٹ، اور ہر کیمرے سے متعلقہ ویڈیو نوڈ تک کے راستے مناسب طریقے سے ترتیب دیئے جائیں گے۔ چار ویڈیو نوڈس چار IMX219 کیمروں کے لیے بنائے گئے ہیں۔ کمانڈ "v4l2-ctl -list-devices" تمام V4L2 ویڈیو ڈیوائسز کو دکھاتا ہے، جیسا کہ ذیل میں دکھایا گیا ہے:

tiscsi6rx کے تحت 1 ویڈیو نوڈس اور 2 میڈیا نوڈ ہیں۔ ہر ویڈیو نوڈ CSI2 RX ڈرائیور کے مختص کردہ DMA سیاق و سباق سے مطابقت رکھتا ہے۔ 6 ویڈیو نوڈس میں سے، 4 کو 4 IMX219 کیمروں کے لیے استعمال کیا جاتا ہے، جیسا کہ ذیل میں میڈیا پائپ ٹوپولوجی میں دکھایا گیا ہے:

جیسا کہ اوپر دکھایا گیا ہے، میڈیا ہستی 30102000.ticsi2rx میں 6 سورس پیڈ ہیں، لیکن صرف پہلے 4 استعمال کیے جاتے ہیں، ہر ایک IMX219 کے لیے۔ میڈیا پائپ ٹوپولوجی کو گرافک طور پر بھی دکھایا جا سکتا ہے۔ ڈاٹ بنانے کے لیے درج ذیل کمانڈ کو چلائیں۔ file:

پھر پی این جی بنانے کے لیے نیچے دی گئی کمانڈ کو لینکس کے میزبان پی سی پر چلائیں۔ file:

تصویر 4-2 اوپر دیے گئے کمانڈز کا استعمال کرتے ہوئے بنائی گئی تصویر ہے۔ شکل 3-1 کے سافٹ ویئر فن تعمیر کے اجزاء اس گراف میں دیکھے جا سکتے ہیں۔

چار کیمروں سے سلسلہ بندی
ہارڈ ویئر اور سافٹ ویئر دونوں کے صحیح طریقے سے سیٹ اپ ہونے کے ساتھ، ایک سے زیادہ کیمرہ ایپلی کیشنز صارف کی جگہ سے چل سکتی ہیں۔ AM62A کے لیے، اچھی امیج کوالٹی پیدا کرنے کے لیے ISP کو ٹیون کیا جانا چاہیے۔ AM6xA ISP ٹیوننگ گائیڈ دیکھیں کہ ISP ٹیوننگ کیسے کی جائے۔ مندرجہ ذیل حصے سابقہ ​​پیش کرتے ہیں۔ampکیمرہ ڈیٹا کو ڈسپلے پر سٹریمنگ، کیمرہ ڈیٹا کو نیٹ ورک پر سٹریمنگ، اور کیمرہ ڈیٹا کو اسٹور کرنے کے لیے files.

ڈسپلے کرنے کے لیے کیمرہ ڈیٹا کو اسٹریم کرنا
اس ملٹی کیمرہ سسٹم کی ایک بنیادی ایپلی کیشن تمام کیمروں سے ایک ہی ایس او سی سے منسلک ڈسپلے پر ویڈیوز کو سٹریم کرنا ہے۔ مندرجہ ذیل ایک GStreamer پائپ لائن ہے۔ampایک ڈسپلے میں چار IMX219 کو سٹریم کرنے کا طریقہ (پائپ لائن میں ویڈیو نوڈ نمبرز اور v4l-subdev نمبرز ممکنہ طور پر ریبوٹ سے ریبوٹ میں تبدیل ہو جائیں گے)۔

ایتھرنیٹ کے ذریعے کیمرہ ڈیٹا کو اسٹریم کرنا
اسی SoC سے منسلک ڈسپلے پر اسٹریم کرنے کے بجائے، کیمرہ ڈیٹا کو ایتھرنیٹ کے ذریعے بھی اسٹریم کیا جاسکتا ہے۔ وصول کرنے والی طرف یا تو کوئی اور AM62A/AM62P پروسیسر یا میزبان PC ہو سکتا ہے۔ مندرجہ ذیل ایک سابق ہےampایتھرنیٹ کے ذریعے کیمرے کے ڈیٹا کو سٹریم کرنے کا طریقہ (سادگی کے لیے دو کیمرے استعمال کرتے ہوئے) (پائپ لائن میں استعمال ہونے والے انکوڈر پلگ ان کو نوٹ کریں):

مندرجہ ذیل ایک سابق ہےampدوسرے AM62A/AM62P پروسیسر پر کیمرہ ڈیٹا حاصل کرنے اور ڈسپلے پر اسٹریم کرنے کا طریقہ:

کیمرہ ڈیٹا کو محفوظ کرنا Files
ڈسپلے پر یا نیٹ ورک کے ذریعے سٹریمنگ کے بجائے، کیمرہ ڈیٹا مقامی میں محفوظ کیا جا سکتا ہے۔ files نیچے دی گئی پائپ لائن ہر کیمرے کے ڈیٹا کو a میں محفوظ کرتی ہے۔ file (ایک سابق کے طور پر دو کیمرے استعمال کرناampلی سادگی کے لیے)۔

ملٹی کیمرا ڈیپ لرننگ انفرنس

AM62A ڈیپ لرننگ ایکسلریٹر (C7x-MMA) سے لیس ہے جس میں دو ٹاپس تک ہیں، جو درجہ بندی، آبجیکٹ کا پتہ لگانے، سیمنٹک سیگمنٹیشن، اور بہت کچھ کے لیے مختلف قسم کے ڈیپ لرننگ ماڈلز چلانے کے قابل ہیں۔ یہ سیکشن دکھاتا ہے کہ کس طرح AM62A بیک وقت چار مختلف کیمرہ فیڈز پر چار ڈیپ لرننگ ماڈل چلا سکتا ہے۔

ماڈل کا انتخاب
TI کا EdgeAI-ModelZoo سینکڑوں جدید ترین ماڈلز فراہم کرتا ہے، جنہیں ان کے اصل تربیتی فریم ورک سے تبدیل/برآمد کیا جاتا ہے تاکہ وہ C7x-MMA ڈیپ لرننگ ایکسلریٹر پر آف لوڈ کیے جا سکیں۔ کلاؤڈ پر مبنی ایج AI اسٹوڈیو ماڈل اینالائزر استعمال میں آسان "ماڈل سلیکشن" ٹول فراہم کرتا ہے۔ TI EdgeAI-ModelZoo میں تعاون یافتہ تمام ماڈلز کو شامل کرنے کے لیے اسے متحرک طور پر اپ ڈیٹ کیا گیا ہے۔ ٹول کو کسی سابقہ ​​تجربے کی ضرورت نہیں ہے اور مطلوبہ ماڈل میں مطلوبہ خصوصیات درج کرنے کے لیے استعمال میں آسان انٹرفیس فراہم کرتا ہے۔

TFL-OD-2000-ssd-mobV1-coco-mlperf کو اس ملٹی کیمرہ گہری سیکھنے کے تجربے کے لیے منتخب کیا گیا تھا۔ یہ ملٹی آبجیکٹ ڈیٹیکشن ماڈل 300×300 ان پٹ ریزولوشن کے ساتھ TensorFlow فریم ورک میں تیار کیا گیا ہے۔ جدول 4-1 اس ماڈل کی اہم خصوصیات کو ظاہر کرتا ہے جب cCOCO ڈیٹاسیٹ پر تقریباً 80 مختلف کلاسوں کے ساتھ تربیت دی جاتی ہے۔

جدول 4-1۔ ماڈل TFL-OD-2000-ssd-mobV1-coco-mlperf کی خصوصیات کو نمایاں کریں۔

پائپ لائن سیٹ اپ
شکل 4-3 4 کیمروں والی ڈیپ لرننگ GStreamer پائپ لائن کو دکھاتا ہے۔ TI GStreamer کا ایک سوٹ فراہم کرتا ہے۔ plugins جو کچھ میڈیا پروسیسنگ کو آف لوڈ کرنے اور ہارڈویئر ایکسلریٹر کے لیے گہرے سیکھنے کا اندازہ لگانے کی اجازت دیتا ہے۔ کچھ سابقampان میں سے plugins tiovxisp، tiovxmultiscaler، tiovxmosaic، اور tidlinferer شامل ہیں۔ شکل 4-3 میں پائپ لائن میں تمام مطلوبہ چیزیں شامل ہیں۔ plugins 4-کیمرہ ان پٹس کے لیے ملٹی پاتھ GStreamer پائپ لائن کے لیے، ہر ایک میڈیا پری پروسیس، گہری سیکھنے کا اندازہ، اور پوسٹ پروسیس کے ساتھ۔ نقل شدہ plugins کیمرے کے راستے میں سے ہر ایک کے لیے آسان مظاہرے کے لیے گراف میں اسٹیک کیے گئے ہیں۔
دستیاب ہارڈویئر وسائل چار کیمرہ راستوں میں یکساں طور پر تقسیم کیے گئے ہیں۔ مثال کے طور پر، AM62A میں دو امیج ملٹی اسکیلرز ہیں: MSC0 اور MSC1۔ پائپ لائن واضح طور پر MSC0 کو کیمرہ 1 اور کیمرہ 2 پاتھ پر کارروائی کرنے کے لیے وقف کرتی ہے، جبکہ MSC1 کیمرہ 3 اور کیمرہ 4 کے لیے وقف ہے۔

چار کیمرہ پائپ لائنوں کے آؤٹ پٹ کو چھوٹا کیا جاتا ہے اور tiovxmosaic پلگ ان کا استعمال کرتے ہوئے ایک ساتھ جوڑا جاتا ہے۔ آؤٹ پٹ ایک ہی اسکرین پر ظاہر ہوتا ہے۔ شکل 4-4 چار کیمروں کے آؤٹ پٹ کو ظاہر کرتا ہے جس میں ایک گہری سیکھنے والے ماڈل کو چلانے والے آبجیکٹ کا پتہ لگانا ہے۔ ہر پائپ لائن (کیمرہ) 30 FPS اور کل 120 FPS پر چل رہی ہے۔

اگلا ملٹی کیمرہ ڈیپ لرننگ استعمال کیس کے لیے مکمل پائپ لائن اسکرپٹ ہے جو شکل 4-3 میں دکھایا گیا ہے۔

کارکردگی کا تجزیہ

V3Link بورڈ اور AM62A SK کا استعمال کرتے ہوئے چار کیمروں کے ساتھ سیٹ اپ کا تجربہ مختلف ایپلیکیشن منظرناموں میں کیا گیا، جس میں براہ راست اسکرین پر ڈسپلے کرنا، ایتھرنیٹ (چار UDP چینلز) پر سٹریمنگ، 4 الگ الگ ریکارڈنگ شامل ہیں۔ files، اور گہرے سیکھنے کے اندازے کے ساتھ۔ ہر تجربے میں، ہم نے پورے سسٹم کی صلاحیتوں کو دریافت کرنے کے لیے فریم ریٹ اور CPU کور کے استعمال کی نگرانی کی۔

جیسا کہ پہلے شکل 4-4 میں دکھایا گیا ہے، ڈیپ لرننگ پائپ لائن tiperfoverlay GStreamer پلگ ان کا استعمال کرتی ہے تاکہ اسکرین کے نیچے بار گراف کے طور پر CPU کور بوجھ کو دکھایا جائے۔ پہلے سے طے شدہ طور پر، گراف کو ہر دو سیکنڈ میں اپ ڈیٹ کیا جاتا ہے تاکہ بوجھ کو استعمال کے فیصد کے طور پر دکھایا جا سکے۔tage tiperfoverlay GStreamer پلگ ان کے علاوہ، perf_stats ٹول ٹرمینل پر براہ راست بنیادی کارکردگی دکھانے کے لیے ایک دوسرا آپشن ہے جس میں محفوظ کرنے کے آپشن کے ساتھ file. یہ ٹول tTiperfoverlays کے مقابلے میں زیادہ درست ہے کیونکہ مؤخر الذکر گراف کو کھینچنے اور اسے اسکرین پر اوورلے کرنے کے لیے ARMm کور اور DDR پر اضافی بوجھ ڈالتا ہے۔ perf_stats ٹول بنیادی طور پر اس دستاویز میں دکھائے گئے تمام ٹیسٹ کیسز میں ہارڈویئر کے استعمال کے نتائج جمع کرنے کے لیے استعمال ہوتا ہے۔ ان ٹیسٹوں میں مطالعہ کیے گئے کچھ اہم پروسیسنگ کور اور ایکسلریٹروں میں مین پروسیسرز (چار A53 آرم کور @ 1.25GHz)، ڈیپ لرننگ ایکسلریٹر (C7x-MMA @ 850MHz)، VPAC (ISP) VISS اور multiscalers کے ساتھ (MSC0 اور MSCs1)، اور DDR آپریشن شامل ہیں۔

جدول 5-1 چار کیمروں کے ساتھ AM62A استعمال کرتے وقت کارکردگی اور وسائل کے استعمال کو دکھاتا ہے جب تین استعمال کے کیسز میں چار کیمروں کو ڈسپلے پر سٹریم کرنا، ایتھرنیٹ پر سٹریمنگ، اور چار الگ الگ ریکارڈنگ files ہر استعمال کے معاملے میں دو ٹیسٹ لاگو کیے جاتے ہیں: صرف کیمرہ کے ساتھ اور گہری سیکھنے کے اندازے کے ساتھ۔ اس کے علاوہ، جدول 5-1 میں پہلی قطار ہارڈ ویئر کے استعمال کو ظاہر کرتی ہے جب صرف آپریٹنگ سسٹم AM62A پر بغیر کسی صارف کی ایپلی کیشنز کے چل رہا تھا۔ دوسرے ٹیسٹ کیسز کے ہارڈ ویئر کے استعمال کا جائزہ لیتے وقت اس کا موازنہ کرنے کے لیے ایک بیس لائن کے طور پر استعمال کیا جاتا ہے۔ جیسا کہ جدول میں دکھایا گیا ہے، ڈیپ لرننگ اور اسکرین ڈسپلے والے چار کیمرے 30 ایف پی ایس پر چلتے ہیں، چاروں کیمروں کے لیے کل 120 ایف پی ایس کے ساتھ۔ یہ اعلیٰ فریم ریٹ ڈیپ لرننگ ایکسلریٹر (C86x-MMA) مکمل صلاحیت کے صرف 7% کے ساتھ حاصل کیا جاتا ہے۔ اس کے علاوہ، یہ نوٹ کرنا ضروری ہے کہ ڈیپ لرننگ ایکسلریٹر کو ان تجربات میں 850MHz کے بجائے 1000MHz پر بند کیا گیا تھا، جو اس کی زیادہ سے زیادہ کارکردگی کا صرف 85% ہے۔

جدول 5-1۔ AM62A کی کارکردگی (FPS) اور وسائل کا استعمال جب اسکرین ڈسپلے، ایتھرنیٹ اسٹریم، ریکارڈ کے لیے 4 IMX219 کیمروں کے ساتھ استعمال کیا جائے Files، اور ڈیپ لرننگ انفرنسنگ انجام دینا

خلاصہ
یہ ایپلیکیشن رپورٹ بتاتی ہے کہ آلات کے AM6x فیملی پر ملٹی کیمرہ ایپلی کیشنز کو کیسے لاگو کیا جائے۔ Arducam کے V3Link کیمرہ سلوشن کٹ اور AM62A SK EVM پر مبنی ایک حوالہ ڈیزائن رپورٹ میں فراہم کیا گیا ہے، جس میں کئی کیمرہ ایپلی کیشنز چار IMX219 کیمرے استعمال کرتی ہیں، جیسے کہ سٹریمنگ اور آبجیکٹ کا پتہ لگانا۔ صارفین کی حوصلہ افزائی کی جاتی ہے کہ وہ Arducam سے V3Link کیمرہ سلوشن کٹ حاصل کریں اور ان کی نقل تیار کریں۔amples رپورٹ AM62A کی کارکردگی کا تفصیلی تجزیہ بھی فراہم کرتی ہے جبکہ مختلف کنفیگریشنز کے تحت چار کیمروں کا استعمال کرتے ہوئے، بشمول اسکرین پر ڈسپلے کرنا، ایتھرنیٹ پر سٹریمنگ، اور ریکارڈنگ files یہ AM62A'sA کو متوازی طور پر چار الگ الگ کیمرہ اسٹریمز پر گہری سیکھنے کا اندازہ لگانے کی صلاحیت کو بھی دکھاتا ہے۔ اگر ان سابقہ ​​کو چلانے کے بارے میں کوئی سوالات ہیں۔amples، TI E2E فورم پر انکوائری جمع کروائیں۔

حوالہ جات

1. AM62A سٹارٹر کٹ EVM کوئیک سٹارٹ گائیڈ
2. ArduCam V3Link کیمرہ سلوشن کوئیک سٹارٹ گائیڈ
3. AM62A کے لیے Edge AI SDK دستاویزات
4. توانائی کے قابل AM62A پروسیسر کا استعمال کرتے ہوئے ایج AI اسمارٹ کیمرے
5. AM62A پر کیمرہ مرر سسٹم
6. AM62A پر ڈرائیور اور قبضے کی نگرانی کے نظام
7. چاروں طرف کے لیے کواڈ چینل کیمرہ ایپلی کیشن View اور CMS کیمرہ سسٹمز
8. AM62Ax Linux اکیڈمی CIS-2 سینسر کو فعال کرنے پر
9. ایج اے آئی ماڈل زو
10. ایج اے آئی اسٹوڈیو
11. Perf_stats ٹول

اس درخواست کے نوٹ میں TI حصوں کا حوالہ دیا گیا ہے:

• https://www.ti.com/product/AM62A7
• https://www.ti.com/product/AM62A7-Q1
• https://www.ti.com/product/AM62A3
• https://www.ti.com/product/AM62A3-Q1
• https://www.ti.com/product/AM62P
• https://www.ti.com/product/AM62P-Q1
• https://www.ti.com/product/DS90UB960-Q1
• https://www.ti.com/product/DS90UB953-Q1
• https://www.ti.com/product/TDES960
• https://www.ti.com/product/TSER953

اہم نوٹس اور ڈس کلیمر

TI تکنیکی اور قابل اعتماد ڈیٹا (بشمول ڈیٹا شیٹس)، ڈیزائن کے وسائل (بشمول حوالہ ڈیزائن)، درخواست یا دیگر ڈیزائن کے مشورے فراہم کرتا ہے، WEB TOOLS، حفاظت کی معلومات، اور دیگر وسائل اور کے ساتھ تمام گناہ "جیسی ہے جہاں"، اور دستبرداری کا اعلان تمام وارنٹیوں، ایکسپریس اور تقاضا بغیر سمیت کسی کی حدود فروختگی، صحت کے لئے ایک خاص مقصد یا تیسری پارٹی بوددک املاک کے حقوق کی عدم خلاف ورزی کی سماوج وارنٹیوں .

یہ وسائل TI مصنوعات کے ساتھ ڈیزائن کرنے والے ہنر مند ڈویلپرز کے لیے ہیں۔ آپ اس کے مکمل طور پر ذمہ دار ہیں۔

1. اپنی درخواست کے لیے مناسب TI مصنوعات کا انتخاب کرنا،
2. آپ کی درخواست کو ڈیزائن کرنا، تصدیق کرنا، اور جانچ کرنا، اور
3. اس بات کو یقینی بنانا کہ آپ کی درخواست قابل اطلاق معیارات، اور کسی بھی دوسری حفاظت، حفاظت، ریگولیٹری، یا دیگر ضروریات کو پورا کرتی ہے۔

یہ وسائل بغیر اطلاع کے تبدیل کیے جا سکتے ہیں۔ TI آپ کو ان وسائل کو صرف اس ایپلی کیشن کی ترقی کے لیے استعمال کرنے کی اجازت دیتا ہے جو وسائل میں بیان کردہ TI مصنوعات استعمال کرتی ہے۔ ان وسائل کی دوسری تولید اور نمائش ممنوع ہے۔ کسی دوسرے TI دانشورانہ املاک کے حق یا کسی تیسرے فریق کے دانشورانہ املاک کے حق کو کوئی لائسنس نہیں دیا جاتا ہے۔ TI ذمہ داری سے دستبرداری کرتا ہے، اور آپ ان وسائل کے استعمال سے پیدا ہونے والے کسی بھی دعوے، نقصانات، اخراجات، نقصانات اور ذمہ داریوں کے خلاف TI اور اس کے نمائندوں کو مکمل طور پر معاوضہ دیں گے۔

TI کی مصنوعات TI کی فروخت کی شرائط یا دیگر قابل اطلاق شرائط کے تحت فراہم کی جاتی ہیں۔ ti.com یا اس طرح کی TI مصنوعات کے ساتھ مل کر فراہم کی جاتی ہے۔ ان وسائل کی TI کی فراہمی TI کی قابل اطلاق وارنٹیوں یا TI پروڈکٹس کے لیے وارنٹی دستبرداری میں توسیع یا تبدیلی نہیں کرتی ہے۔

TI آپ کی تجویز کردہ کسی بھی اضافی یا مختلف شرائط پر اعتراض کرتا ہے اور اسے مسترد کرتا ہے۔

اہم نوٹس

• ڈاک کا پتہ: ٹیکساس انسٹرومینٹس، پوسٹ آفس باکس 655303، ڈلاس، ٹیکساس 75265
• کاپی رائٹ © 2024، Texas Instruments Incorporated

اکثر پوچھے گئے سوالات

دستاویزات / وسائل

Texas Instruments AM6x ایک سے زیادہ کیمرہ تیار کر رہا ہے۔ [پی ڈی ایف] یوزر گائیڈ AM62A, AM62P, AM6x ایک سے زیادہ کیمرہ تیار کرنا, AM6x, ایک سے زیادہ کیمرہ تیار کرنا, ایک سے زیادہ کیمرہ, کیمرہ

حوالہ جات

• صارف دستی