دليل مستخدم كاميرا Texas Instruments AM6x متعددة الاستخدامات

تلعب الكاميرات المدمجة دورًا حاسمًا في أنظمة الرؤية الحديثة.
يؤدي استخدام كاميرات متعددة في نظام واحد إلى تعزيز القدرات وتمكين المهام التي لا يمكن تحقيقها باستخدام كاميرا واحدة.

التطبيقات التي تستخدم كاميرات متعددة:

المراقبة الأمنية: يعمل على تعزيز تغطية المراقبة وتتبع الكائنات ودقة التعرف عليها.
محيط View: يتيح الرؤية المجسمة لمهام مثل اكتشاف العوائق والتلاعب بالأشياء.

نظام مسجل المقصورة وكاميرا المرآة: يوفر تغطية ممتدة ويزيل النقاط العمياء.
التصوير الطبي: يوفر دقة محسنة في الملاحة الجراحية والتنظير.

الطائرات بدون طيار والتصوير الجوي: التقط صورًا عالية الدقة من زوايا مختلفة لتطبيقات مختلفة.

ربط كاميرات CSI-2 المتعددة بنظام SoC:
لتوصيل عدة كاميرات CSI-2 بنظام SoC، اتبع الإرشادات الواردة في دليل المستخدم. تأكد من محاذاة كل كاميرا وتوصيلها بالمنافذ المخصصة لها في نظام SoC.

ملاحظة الطلب
تطوير تطبيقات الكاميرات المتعددة على AM6x

جيان تشونغ شو، قتيبة صالح

خلاصة
يصف هذا التقرير تطوير تطبيقات باستخدام كاميرات CSI-2 متعددة على سلسلة أجهزة AM6x. يُقدم تصميمًا مرجعيًا لاكتشاف الأجسام باستخدام التعلم العميق على أربع كاميرات على نظام AM4A، مع تحليل للأداء. تنطبق المبادئ العامة للتصميم على أنظمة أخرى مزودة بواجهة CSI-62، مثل AM2x وAM62P.

مقدمة

تلعب الكاميرات المدمجة دورًا هامًا في أنظمة الرؤية الحديثة. فاستخدام كاميرات متعددة في نظام واحد يُوسّع إمكانيات هذه الأنظمة ويُتيح إمكانيات لا يمكن تحقيقها بكاميرا واحدة. فيما يلي بعض الأمثلة:ampأنواع التطبيقات التي تستخدم كاميرات مدمجة متعددة:

المراقبة الأمنية: توفر الكاميرات المتعددة الموزعة استراتيجيًا تغطية مراقبة شاملة، مما يتيح رؤية بانورامية viewوتساعد هذه التقنية على تقليل النقاط العمياء وتعزيز دقة تتبع الكائنات والتعرف عليها، مما يؤدي إلى تحسين تدابير الأمن الشاملة.
محيط Viewتُستخدم كاميرات متعددة لإنشاء نظام رؤية مجسمة، مما يتيح معلومات ثلاثية الأبعاد وتقدير العمق. يُعد هذا أمرًا بالغ الأهمية لمهام مثل اكتشاف العوائق في المركبات ذاتية القيادة، والتحكم الدقيق بالأجسام في الروبوتات، وتحسين واقعية تجارب الواقع المعزز.

نظام مسجل السيارة ومرآة الكاميرا: يمكن لمسجل السيارة المزود بكاميرات متعددة توفير تغطية أوسع باستخدام معالج واحد. وبالمثل، يمكن لنظام مرآة الكاميرا المزود بكاميرتين أو أكثر توسيع مجال رؤية السائق. view وإزالة النقاط العمياء من جميع جوانب السيارة.
التصوير الطبي: يمكن استخدام كاميرات متعددة في التصوير الطبي لمهام مثل التوجيه الجراحي، مما يوفر للجراحين مناظير متعددة لتحسين الدقة. في التنظير الداخلي، تتيح الكاميرات المتعددة فحصًا شاملًا للأعضاء الداخلية.

الطائرات بدون طيار والتصوير الجوي: غالبًا ما تكون الطائرات بدون طيار مزودة بكاميرات متعددة لالتقاط صور أو مقاطع فيديو عالية الدقة من زوايا مختلفة. وهذا مفيد في تطبيقات مثل التصوير الجوي، ومراقبة الزراعة، ومسح الأراضي.
مع تقدم المعالجات الدقيقة، أصبح من الممكن دمج كاميرات متعددة في نظام واحد على شريحة.
(SoC) لتوفير حلول مدمجة وفعالة. يُعد نظام AM62Ax SoC، المزود بمعالجة فيديو/رؤية عالية الأداء وتسريع التعلم العميق، جهازًا مثاليًا لحالات الاستخدام المذكورة أعلاه. صُمم جهاز AM6x آخر، وهو AM62P، لتطبيقات العرض ثلاثية الأبعاد المدمجة عالية الأداء. بفضل تسريع الرسومات ثلاثية الأبعاد، يُمكن لجهاز AM3P تجميع الصور من كاميرات متعددة بسهولة وإنتاج صورة بانورامية عالية الدقة. viewتم تقديم الميزات المبتكرة لنظام AM62A/AM62P SoC في منشورات مختلفة، مثل [4]، [5]، [6]، وما إلى ذلك. لن تكرر ملاحظة التطبيق هذه أوصاف الميزات هذه، بل تركز بدلاً من ذلك على دمج كاميرات CSI-2 المتعددة في تطبيقات الرؤية المضمنة على AM62A/AM62P.

يوضح الجدول 1-1 الاختلافات الرئيسية بين AM62A و AM62P فيما يتعلق بمعالجة الصور.

الجدول ١-١. الفروق بين AM1A وAM1P في معالجة الصور

نظام على رقاقة	ام62ا	AM62P
نوع الكاميرا المدعومة	مع أو بدون مزود خدمة إنترنت مدمج	مع مزود خدمة الإنترنت المدمج
بيانات إخراج الكاميرا	خام/YUV/RGB	يو في/آر جي بي
مزود خدمة الإنترنت HWA	نعم	لا
التعلم العميق HWA	نعم	لا
رسومات ثلاثية الأبعاد HWA	لا	نعم

ربط كاميرات CSI-2 متعددة بنظام SoC
يحتوي نظام الكاميرا الفرعي الموجود على نظام AM6x SoC على المكونات التالية، كما هو موضح في الشكل 2-1:

جهاز استقبال MIPI D-PHY: يستقبل تدفقات الفيديو من الكاميرات الخارجية، ويدعم ما يصل إلى 1.5 جيجابت في الثانية لكل مسار بيانات لـ 4 مسارات.

جهاز استقبال CSI-2 (RX): يستقبل تدفقات الفيديو من جهاز استقبال D-PHY، ويرسلها مباشرةً إلى مزود خدمة الإنترنت أو يُخزّنها في ذاكرة DDR. تدعم هذه الوحدة ما يصل إلى 16 قناة افتراضية.
SHIM: مُغلِّف DMA يُتيح إرسال التدفقات المُلتقَطة إلى الذاكرة عبر DMA. يُمكن لهذا المُغلِّف إنشاء سياقات DMA مُتعدِّدة، بحيث يُمثِّل كل سياق قناة افتراضية لجهاز الاستقبال CSI-2.

يمكن دعم كاميرات متعددة على AM6x باستخدام قنوات CSI-2 RX الافتراضية، على الرغم من وجود واجهة CSI-2 RX واحدة فقط على نظام SoC. يلزم وجود مُجمِّع CSI-2 خارجي لدمج تدفقات الكاميرات المتعددة وإرسالها إلى نظام SoC واحد. يمكن استخدام نوعين من حلول تجميع CSI-2، كما هو موضح في الأقسام التالية.

مجمع CSI-2 باستخدام SerDes
إحدى طرق دمج تدفقات بيانات الكاميرات المتعددة هي استخدام حل التسلسل وإلغاء التسلسل (SerDes). يُحوّل مُسلسل بيانات CSI-2 من كل كاميرا ويُنقل عبر كابل. يستقبل مُسلسل البيانات جميع البيانات التسلسلية المنقولة من الكابلات (كابل واحد لكل كاميرا)، ويُحوّل التدفقات إلى بيانات CSI-2، ثم يُرسل تدفق CSI-2 مُتداخلاً إلى واجهة الاستقبال CSI-2 الوحيدة على نظام على رقاقة (SoC). يتم تحديد كل تدفق بيانات كاميرا بواسطة قناة افتراضية فريدة. يُتيح هذا الحل التجميعي ميزة إضافية تتمثل في السماح باتصال بعيد المدى يصل إلى 15 مترًا من الكاميرات إلى نظام على رقاقة (SoC).

تُعد أجهزة التسلسل وفك التسلسل (SerDes) من نوع FPD-Link أو V3-Link، المدعومة في مجموعة أدوات تطوير البرامج AM6x Linux، من أكثر التقنيات شيوعًا لهذا النوع من حلول تجميع CSI-2. يحتوي كلٌّ من أجهزة فك التسلسل FPD-Link وV3-Link على قنوات خلفية يُمكن استخدامها لإرسال إشارات مزامنة الإطارات لمزامنة جميع الكاميرات، كما هو موضح في [7].
الشكل 2-2 يظهر على سبيل المثالampمثال على استخدام SerDes لتوصيل كاميرات متعددة بجهاز SoC AM6x واحد.

على سبيل المثالampيمكن العثور على جزء من هذا الحل التجميعي في مجموعة حلول كاميرات Arducam V3Link. تحتوي هذه المجموعة على محور فك تسلسل يجمع 4 تدفقات كاميرات CSI-2، بالإضافة إلى 4 أزواج من أجهزة فك تسلسل V3link وكاميرات IMX219، بما في ذلك كابلات FAKRA المحورية وكابلات FPC ذات 22 سنًا. يعتمد التصميم المرجعي الذي سنناقشه لاحقًا على هذه المجموعة.

مجمع CSI-2 بدون استخدام SerDes
يمكن لهذا النوع من المجمعات التفاعل مباشرة مع كاميرات MIPI CSI-2 المتعددة وتجميع البيانات من جميع الكاميرات إلى تيار إخراج CSI-2 واحد.

الشكل 2-3 يظهر على سبيل المثالampهذا النوع من حلول التجميع لا يستخدم أي مُسلسل/مُفكك تسلسل، ولكنه محدود بالمسافة القصوى لنقل بيانات CSI-2، والتي تصل إلى 30 سم. لا تدعم مجموعة أدوات تطوير البرامج AM6x Linux هذا النوع من مُجمّعات CSI-2.

تمكين كاميرات متعددة في البرنامج

هندسة برمجيات نظام الكاميرا الفرعي
يوضح الشكل 3-1 مخطط كتلة عالي المستوى لبرنامج نظام التقاط الكاميرا في مجموعة أدوات تطوير البرامج AM62A/AM62P Linux، وهو ما يتوافق مع نظام الأجهزة في الشكل 2-2.

تُمكّن بنية البرنامج هذه نظام SoC من استقبال تدفقات متعددة من الكاميرات باستخدام SerDes، كما هو موضح في الشكل 2-2. تُعيّن SerDes في FPD-Link/V3-Link عنوان I2C فريدًا وقناة افتراضية لكل كاميرا. يجب إنشاء تراكب شجرة جهاز فريد بعنوان I2C الفريد لكل كاميرا. يتعرف برنامج تشغيل CSI-2 RX على كل كاميرا باستخدام رقم القناة الافتراضية الفريد، ويُنشئ سياق DMA لكل تدفق كاميرا. تُنشأ عقدة فيديو لكل سياق DMA. ثم تُستقبل البيانات من كل كاميرا وتُخزّن باستخدام DMA في الذاكرة وفقًا لذلك. تستخدم تطبيقات مساحة المستخدم عقد الفيديو المقابلة لكل كاميرا للوصول إلى بيانات الكاميرا. مثال:ampيتم تقديم شرح لاستخدام بنية هذا البرنامج في الفصل الرابع - التصميم المرجعي.

يمكن لأي برنامج تشغيل مستشعر محدد متوافق مع إطار عمل V4L2 أن يعمل ضمن هذه البنية. راجع [8] لمعرفة كيفية دمج برنامج تشغيل مستشعر جديد في مجموعة تطوير برامج Linux.

هندسة برمجيات خط أنابيب الصور

توفر مجموعة أدوات تطوير البرامج AM6x Linux إطار عمل GStreamer (GST)، والذي يمكن استخدامه في مجال الخدمة لدمج مكونات معالجة الصور لتطبيقات متنوعة. يمكن الوصول إلى مُسرّعات الأجهزة (HWA) على نظام SoC، مثل مُسرّع المعالجة المسبقة للرؤية (VPAC) أو ISP، ومُشفّر/مُفكّك تشفير الفيديو، ومحرك الحوسبة للتعلم العميق، من خلال GST. pluginsيحتوي VPAC (ISP) نفسه على كتل متعددة، بما في ذلك نظام التصوير البصري الفرعي (VISS)، وتصحيح تشوه العدسة (LDC)، ومتعدد المقاييس (MSC)، وكل منها يتوافق مع مكون إضافي لـ GST.
يوضح الشكل 3-2 مخطط الكتلة لخط أنابيب الصور النموذجي من الكاميرا إلى التشفير أو العمق
تطبيقات التعلم على AM62A. لمزيد من التفاصيل حول تدفق البيانات الشامل، راجع وثائق EdgeAI SDK.

بالنسبة إلى AM62P، يكون خط أنابيب الصورة أبسط لأنه لا يوجد مزود خدمة إنترنت على AM62P.

بفضل عقدة فيديو مُنشأة لكل كاميرا، يتيح خط أنابيب الصور المُعتمد على GStreamer معالجة مُدخلات كاميرات متعددة (متصلة عبر واجهة CSI-2 RX نفسها) في آنٍ واحد. سيُقدم الفصل التالي تصميمًا مرجعيًا باستخدام GStreamer لتطبيقات الكاميرات المتعددة.

التصميم المرجعي

يقدم هذا الفصل تصميمًا مرجعيًا لتشغيل تطبيقات الكاميرا المتعددة على AM62A EVM، باستخدام مجموعة حلول كاميرا Arducam V3Link لتوصيل 4 كاميرات CSI-2 بجهاز AM62A وتشغيل اكتشاف الكائنات لجميع الكاميرات الأربع.

الكاميرات المدعومة
تعمل مجموعة Arducam V3Link مع كلٍّ من الكاميرات المتوافقة مع FPD-Link/V3-Link وكاميرات CSI-2 المتوافقة مع Raspberry Pi. تم اختبار الكاميرات التالية:

هندسة D3 D3RCM-IMX390-953
تصوير ليوبارد LI-OV2312-FPDLINKIII-110H
كاميرات IMX219 في مجموعة حلول الكاميرا Arducam V3Link

إعداد أربع كاميرات IMX219
اتبع التعليمات الواردة في دليل البدء السريع لمجموعة أدوات بدء تشغيل AM62A EVM لإعداد SK-AM62A-LP EVM (AM62A SK) ودليل البدء السريع لحل كاميرا ArduCam V3Link لتوصيل الكاميرات بـ AM62A SK عبر مجموعة V3Link. تأكد من محاذاة دبابيس الكابلات المرنة والكاميرات ولوحة V3Link وAM62A SK بشكل صحيح.

يوضح الشكل 4-1 الإعداد المستخدم في التصميم المرجعي لهذا التقرير. تشمل المكونات الرئيسية للإعداد ما يلي:

1X SK-AM62A-LP لوحة EVM
1X Arducam V3Link d-ch لوحة محول
كابل FPC يربط Arducam V3Link بـ SK-AM62A
4 محولات كاميرا V3Link (مسلسلات)
4 كابلات محورية RF لتوصيل أجهزة التسلسل V3Link بمجموعة V3Link d-ch
4 كاميرات IMX219
4 كابلات CSI-2 ذات 22 سنًا لتوصيل الكاميرات بالمتسلسلات
الكابلات: كابل HDMI، USB-C لتشغيل SK-AM62A-LP ومصدر طاقة 12 فولت لمجموعة V3Link d-ch)
المكونات الأخرى غير الموضحة في الشكل 4-1: بطاقة micro-SD، وكابل micro-USB للوصول إلى SK-AM62A-LP، وEthernet للبث

تكوين الكاميرات وواجهة CSI-2 RX
قم بإعداد البرنامج وفقًا للتعليمات الواردة في دليل البدء السريع لبرنامج Arducam V3Link. بعد تشغيل ملف إعداد الكاميرا setup-imx219.sh، سيتم ضبط تنسيق الكاميرا، وتنسيق واجهة CSI-2 RX، والمسارات من كل كاميرا إلى عقدة الفيديو المقابلة بشكل صحيح. سيتم إنشاء أربع عقد فيديو لكاميرات IMX219 الأربع. يعرض الأمر "v4l2-ctl –list-devices" جميع أجهزة فيديو V4L2، كما هو موضح أدناه:

يوجد ست عقد فيديو وعقدة وسائط واحدة ضمن tiscsi6rx. تتوافق كل عقدة فيديو مع سياق DMA المخصص بواسطة برنامج تشغيل CSI1 RX. من بين عقد الفيديو الست، تُستخدم أربع منها لكاميرات IMX2 الأربع، كما هو موضح في طوبولوجيا أنبوب الوسائط أدناه:

كما هو موضح أعلاه، يحتوي كيان الوسائط 30102000.ticsi2rx على ست منصات مصدر، ولكن تُستخدم الأربع الأولى فقط، كل منها لجهاز IMX6 واحد. يمكن أيضًا توضيح طوبولوجيا أنبوب الوسائط بيانيًا. نفّذ الأمر التالي لإنشاء نقطة file:

ثم قم بتشغيل الأمر أدناه على جهاز كمبيوتر مضيف يعمل بنظام Linux لإنشاء ملف PNG file:

الشكل 4-2 هو صورة مُولَّدة باستخدام الأوامر المذكورة أعلاه. يُمكن العثور على مكونات بنية البرنامج الموضحة في الشكل 3-1 في هذا الرسم البياني.

البث من أربع كاميرات
مع إعداد كلٍّ من الأجهزة والبرامج بشكل صحيح، يُمكن تشغيل تطبيقات الكاميرات المتعددة من مساحة المستخدم. بالنسبة لكاميرا AM62A، يجب ضبط مُعالج إشارة الصورة (ISP) لإنتاج جودة صورة جيدة. راجع دليل ضبط مُعالج إشارة الصورة (ISP) لكاميرا AM6xA لمعرفة كيفية ضبط مُعالج إشارة الصورة. تُقدم الأقسام التالية أمثلةً على ذلك.ampتدفق بيانات الكاميرا إلى شاشة، وتدفق بيانات الكاميرا إلى شبكة، وتخزين بيانات الكاميرا على files.

بث بيانات الكاميرا للعرض
أحد التطبيقات الأساسية لهذا النظام متعدد الكاميرات هو بث مقاطع الفيديو من جميع الكاميرات إلى شاشة متصلة بنفس النظام (SoC). فيما يلي خط أنابيب GStreamer.ampقدرة بث أربعة IMX219 إلى شاشة (من المحتمل أن تتغير أرقام عقد الفيديو وأرقام v4l-subdev في خط الأنابيب من إعادة تشغيل إلى إعادة تشغيل).

بث بيانات الكاميرا عبر الإيثرنت
بدلاً من بث بيانات الكاميرا إلى شاشة متصلة بنفس النظام على رقاقة، يمكن أيضًا بثها عبر الإيثرنت. يمكن أن يكون جهاز الاستقبال إما معالج AM62A/AM62P آخر أو جهاز كمبيوتر مضيف. فيما يلي مثال:ampطريقة بث بيانات الكاميرا عبر Ethernet (باستخدام كاميرتين من أجل البساطة) (لاحظ مكون البرنامج الإضافي المستخدم في خط الأنابيب):

وفيما يلي مثالampكيفية استقبال بيانات الكاميرا وبثها إلى شاشة على معالج AM62A/AM62P آخر:

تخزين بيانات الكاميرا إلى Files
بدلاً من البث إلى شاشة أو عبر شبكة، يمكن تخزين بيانات الكاميرا محليًا fileيخزن خط الأنابيب أدناه بيانات كل كاميرا في file (باستخدام كاميرتين كمثال)amp(le من أجل البساطة).

استنتاج التعلم العميق متعدد الكاميرات

تم تجهيز AM62A بمُسرِّع تعلّم عميق (C7x-MMA) مع ما يصل إلى وحدتي TOPS، قادرتين على تشغيل أنواع مختلفة من نماذج التعلّم العميق للتصنيف، وكشف الأجسام، والتجزئة الدلالية، وغيرها. يوضح هذا القسم كيف يُمكن لـ AM62A تشغيل أربعة نماذج تعلّم عميق في آنٍ واحد على أربع كاميرات مُختلفة.

اختيار النموذج
يوفر EdgeAI-ModelZoo من TI مئات النماذج المتطورة، والتي تُحوّل/تُصدّر من أطر التدريب الأصلية إلى صيغة سهلة التضمين، ليتم تحميلها على مُسرّع التعلم العميق C7x-MMA. يوفر مُحلل النماذج السحابي Edge AI Studio أداة "اختيار النماذج" سهلة الاستخدام. يتم تحديثها ديناميكيًا لتشمل جميع النماذج المدعومة في TI EdgeAI-ModelZoo. لا تتطلب الأداة أي خبرة سابقة، وتوفر واجهة سهلة الاستخدام لإدخال الميزات المطلوبة في النموذج المطلوب.

تم اختيار TFL-OD-2000-ssd-mobV1-coco-mlperf لتجربة التعلم العميق متعددة الكاميرات. طُوّر نموذج الكشف متعدد الكائنات هذا باستخدام إطار عمل TensorFlow بدقة إدخال 300×300. يوضح الجدول 4-1 أهم ميزات هذا النموذج عند تدريبه على مجموعة بيانات cCOCO التي تضم حوالي 80 فئة مختلفة.

الجدول 4-1. أبرز ميزات النموذج TFL-OD-2000-ssd-mobV1-coco-mlperf.

نموذج	مهمة	دقة	معدل الإطارات في الثانية	خريطة 50% الدقة في COCO	زمن الوصول/الإطار (مللي ثانية)	DDR BW الاستخدام (ميغابايت/إطار)
TFL-OD-2000-ssd- mobV1-coco-mlperf	اكتشاف الكائنات المتعددة	300×300	~152	15.9	6.5	18.839

إعداد خط الأنابيب
يوضح الشكل 4-3 خط أنابيب GStreamer للتعلم العميق بأربع كاميرات. توفر TI مجموعة من GStreamer plugins التي تسمح بنقل بعض معالجة الوسائط واستدلالات التعلم العميق إلى مُسرِّعات الأجهزة. بعض الأمثلةampليه من هؤلاء plugins تشمل tiovxisp وtiovxmultiscaler وtiovxmosaic وtidlinferer. يتضمن خط الأنابيب في الشكل 4-3 جميع البيانات المطلوبة. plugins لخط أنابيب GStreamer متعدد المسارات لمدخلات أربع كاميرات، كل منها بمعالجة مسبقة للوسائط، واستدلال التعلم العميق، ومعالجة لاحقة. plugins يتم تجميع مسارات الكاميرا لكل منها في الرسم البياني لتسهيل العرض التوضيحي.
موارد الأجهزة المتاحة موزعة بالتساوي بين مسارات الكاميرات الأربعة. على سبيل المثال، يحتوي AM62A على معالجين متعددي المقاييس للصور: MSC0 وMSC1. يُخصص خط الأنابيب MSC0 بشكل صريح لمساري معالجة الكاميرا 1 والكاميرا 2، بينما يُخصص MSC1 للكاميرا 3 والكاميرا 4.

تم تصغير مخرجات خطوط أنابيب الكاميرات الأربع ودمجها معًا باستخدام ملحق tiovxmosaic. يُعرض المخرج على شاشة واحدة. يوضح الشكل 4-4 مخرجات الكاميرات الأربع مع نموذج تعلم عميق يُشغّل خاصية كشف الأجسام. يعمل كل خط أنابيب (كاميرا) بمعدل 30 إطارًا في الثانية، وبإجمالي 120 إطارًا في الثانية.

التالي هو البرنامج النصي الكامل للأنابيب لحالة استخدام التعلم العميق متعدد الكاميرات كما هو موضح في الشكل 4-3.

تحليل الأداء

تم اختبار الإعداد باستخدام أربع كاميرات باستخدام لوحة V3Link وAM62A SK في سيناريوهات تطبيق مختلفة، بما في ذلك العرض المباشر على الشاشة، والبث عبر Ethernet (أربع قنوات UDP)، والتسجيل على 4 قنوات منفصلة fileباستخدام استدلال التعلم العميق. في كل تجربة، راقبنا معدل الإطارات واستخدام أنوية وحدة المعالجة المركزية لاستكشاف إمكانيات النظام بأكمله.

كما هو موضح سابقًا في الشكل 4-4، يستخدم خط أنابيب التعلم العميق مكون tiperfoverlay GStreamer لعرض أحمال نواة وحدة المعالجة المركزية كرسم بياني شريطي أسفل الشاشة. افتراضيًا، يتم تحديث الرسم البياني كل ثانيتين لعرض الأحمال كنسبة مئوية للاستخدام.tagهـ. بالإضافة إلى مكون tiperfoverlay GStreamer، تُعد أداة perf_stats خيارًا ثانيًا لعرض الأداء الأساسي مباشرةً على الجهاز الطرفي مع خيار الحفظ في fileهذه الأداة أكثر دقة مقارنةً بأداة tTiperfoverlay، حيث تُضيف الأخيرة حملاً إضافياً على أنوية ARMm وذاكرة DDR لرسم الرسم البياني وعرضه على الشاشة. تُستخدم أداة perf_stats بشكل أساسي لجمع نتائج استخدام الأجهزة في جميع حالات الاختبار الموضحة في هذه الوثيقة. من بين أهم أنوية المعالجة والمسرعات التي تمت دراستها في هذه الاختبارات: المعالجات الرئيسية (أربع أنوية A53 Arm بتردد 1.25 جيجاهرتز)، ومسرع التعلم العميق (C7x-MMA بتردد 850 ميجاهرتز)، وVPAC (ISP) مع VISS ومتعددات المقاييس (MSC0 وMSC1)، وعمليات DDR.

يوضح الجدول 5-1 الأداء واستخدام الموارد عند استخدام AM62A مع أربع كاميرات لثلاث حالات استخدام، بما في ذلك بث أربع كاميرات إلى شاشة، والبث عبر إيثرنت، والتسجيل على أربع كاميرات منفصلة fileس. يتم تنفيذ اختبارين في كل حالة استخدام: باستخدام الكاميرا فقط وباستخدام استنتاج التعلم العميق. بالإضافة إلى ذلك، يوضح الصف الأول في الجدول 5-1 استخدامات الأجهزة عندما كان نظام التشغيل فقط يعمل على AM62A دون أي تطبيقات للمستخدم. ويُستخدم هذا كخط أساس للمقارنة عند تقييم استخدامات الأجهزة لحالات الاختبار الأخرى. وكما هو موضح في الجدول، تعمل الكاميرات الأربع المزودة بالتعلم العميق وشاشة العرض بمعدل 30 إطارًا في الثانية لكل منها، بإجمالي 120 إطارًا في الثانية للكاميرات الأربع. ويتحقق معدل الإطارات المرتفع هذا بنسبة 86% فقط من السعة الكاملة لمسرع التعلم العميق (C7x-MMA). بالإضافة إلى ذلك، من المهم ملاحظة أن مسرع التعلم العميق تم ضبطه على 850 ميجاهرتز بدلاً من 1000 ميجاهرتز في هذه التجارب، وهو ما يمثل حوالي 85% فقط من أقصى أداء له.

الجدول 5-1. الأداء (FPS) واستخدام الموارد لـ AM62A عند استخدامه مع 4 كاميرات IMX219 لعرض الشاشة، وتدفق الإيثرنت، والتسجيل إلى Files، وإجراء استدلال التعلم العميق

تطبيق n	خط الأنابيب (التشغيل )	الناتج	معدل الإطارات في الثانية متوسط خط الأنابيب	معدل الإطارات في الثانية المجموع	وحدات معالجة الرسومات A53s @ 1.25 جيجاهرتز [%]	وحدة التحكم الدقيقة R5 [%]	DLA (C7x- MMA) @ 850 ميغا هرتز [%]	فيس [%]	MSC0 [%]	MSC1 [%]	دي آر دي الطريق [ميغابايت/ثانية]	دي آر دي Wr [ميغابايت/ثانية]	دي آر دي الإجمالي [ميغابايت/ثانية]
لا يوجد تطبيق	خط الأساس لا يوجد عملية	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
آلة تصوير فقط	تدفق إلى الشاشة	شاشة	30	120	12	12	0	70	61	60	1015	757	1782
	البث عبر الإيثرنت	UDP: 4 المنافذ 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	سِجِلّ ل files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
كاميرا مع التعلم العميق	التعلم العميق: اكتشاف الكائنات MobV1-coco	شاشة	30	120	38	25	86	71	85	82	2926	1676	4602
	التعلم العميق: اكتشاف الكائنات MobV1-coco والبث عبر Ethernet	UDP: 4 المنافذ 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	التعلم العميق: اكتشاف الكائنات MobV1-coco والتسجيل في files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

ملخص
يصف تقرير التطبيق هذا كيفية تنفيذ تطبيقات متعددة الكاميرات على عائلة أجهزة AM6x. يتضمن التقرير تصميمًا مرجعيًا قائمًا على مجموعة حلول الكاميرا V3Link من Arducam وجهاز AM62A SK EVM، مع العديد من تطبيقات الكاميرات باستخدام أربع كاميرات IMX219، مثل البث وكشف الأجسام. نشجع المستخدمين على اقتناء مجموعة حلول الكاميرا V3Link من Arducam وتكرار هذه التجارب.ampيقدم التقرير أيضًا تحليلًا مفصلاً لأداء AM62A أثناء استخدام أربع كاميرات في ظل تكوينات مختلفة، بما في ذلك العرض على الشاشة، والبث عبر الإيثرنت، والتسجيل على fileيُظهر أيضًا قدرة AM62A على إجراء استدلال التعلم العميق على أربعة مسارات كاميرا منفصلة بالتوازي. إذا كانت لديك أي أسئلة حول تشغيل هذه الأمثلة،ampيرجى إرسال استفسارك في منتدى TI E2E.

مراجع

دليل البدء السريع لمجموعة بدء تشغيل AM62A EVM
دليل البدء السريع لحل كاميرا ArduCam V3Link
توثيق Edge AI SDK لـ AM62A
كاميرات Edge AI الذكية باستخدام معالج AM62A الموفر للطاقة
أنظمة مرايا الكاميرا على AM62A
أنظمة مراقبة السائق والإشغال على AM62A
تطبيق كاميرا رباعية القنوات للصوت المحيطي View وأنظمة الكاميرات CMS
أكاديمية AM62Ax Linux حول تمكين مستشعر CIS-2
نموذج الذكاء الاصطناعي الحافة
إيدج إيه آي ستوديو
أداة Perf_stats

أجزاء TI المشار إليها في هذا التطبيق ملاحظة:

إشعار هام وإخلاء المسؤولية

توفر TI البيانات الفنية والموثوقية (بما في ذلك أوراق البيانات) أو موارد التصميم (بما في ذلك التصاميم المرجعية) أو التطبيق أو نصائح التصميم الأخرى ، WEB الأدوات ، ومعلومات السلامة ، والموارد الأخرى "كما هي" ومع جميع العيوب ، وتتنصل من جميع الضمانات ، الصريحة والضمنية ، بما في ذلك على سبيل المثال لا الحصر أي ضمانات ضمنية تتعلق بقابلية التسويق أو الملاءمة لجهة معينة من المعلومات .

هذه الموارد مخصصة للمطورين المهرة الذين يقومون بالتصميم باستخدام منتجات TI. أنت المسؤول الوحيد عن

اختيار منتجات TI المناسبة لتطبيقك،
تصميم التطبيق الخاص بك والتحقق منه واختباره ، و
التأكد من أن تطبيقك يلبي المعايير المعمول بها، وأي متطلبات أخرى تتعلق بالسلامة والأمن والتنظيم أو غيرها.

هذه الموارد قابلة للتغيير دون إشعار. تسمح لك TI باستخدام هذه الموارد فقط لتطوير تطبيق يستخدم منتجات TI الموضحة في المورد. يُحظر إعادة إنتاج هذه الموارد أو عرضها. لا يُمنح أي ترخيص لأي حق ملكية فكرية آخر لـ TI أو لأي طرف ثالث. تُخلي TI مسؤوليتها عن أي مطالبات أو أضرار أو تكاليف أو خسائر أو التزامات ناشئة عن استخدامك لهذه الموارد، وتُعوّضها بالكامل عن أي مطالبات أو أضرار أو تكاليف أو خسائر أو التزامات ناشئة عن استخدامك لهذه الموارد.

يتم توفير منتجات TI وفقًا لشروط البيع الخاصة بشركة TI أو الشروط الأخرى المعمول بها والمتوفرة أيضًا على ti.com أو مقدمة بالاقتران مع منتجات منظمة الشفافية الدولية هذه. لا يؤدي توفير TI لهذه الموارد إلى توسيع أو تغيير الضمانات المعمول بها في TI أو إخلاء المسؤولية عن الضمان لمنتجات TI.

تعترض TI على أي شروط إضافية أو مختلفة قد تقترحها وترفضها.

إشعار هام

العنوان البريدي: Texas Instruments ، صندوق بريد 655303 ، دالاس ، تكساس 75265

الأسئلة الشائعة

س: هل يمكنني استخدام أي نوع من الكاميرات مع عائلة أجهزة AM6x؟

تدعم سلسلة AM6x أنواعًا مختلفة من الكاميرات، بما في ذلك تلك المزودة بمزود خدمة إنترنت مدمج أو غير المزودة به. راجع المواصفات لمزيد من التفاصيل حول أنواع الكاميرات المدعومة.

:ما هي الفروقات الرئيسية بين AM62A و AM62P في معالجة الصور؟

تشمل الاختلافات الرئيسية أنواع الكاميرات المدعومة، وبيانات إخراج الكاميرا، ووجود معالجات HWA لمزود خدمة الإنترنت، ومعالجات HWA للتعلم العميق، ومعالجات HWA للرسومات ثلاثية الأبعاد. راجع قسم المواصفات لمقارنة مفصلة.

المستندات / الموارد

شركة Texas Instruments AM6x تعمل على تطوير كاميرا متعددة [بي دي اف] دليل المستخدم
AM62A، AM62P، AM6x، تطوير كاميرا متعددة، AM6x، تطوير كاميرا متعددة، كاميرا متعددة، كاميرا

مراجع

دليل المستخدم

شركة Texas Instruments AM6x تعمل على تطوير كاميرات متعددة

تحديد