מדריך למשתמש בפיתוח של מצלמות מרובות של Texas Instruments AM6x

חיבור מספר מצלמות CSI-2 ל-SoC:
כדי לחבר מספר מצלמות CSI-2 ל-SoC, יש לפעול לפי ההנחיות המופיעות במדריך למשתמש. יש לוודא יישור וחיבור נכונים של כל מצלמה ליציאות הייעודיות ב-SoC.

הערת יישום
פיתוח יישומים מרובי מצלמות על AM6x

Jianzhong Xu, Qutaiba Saleh

תַקצִיר
דוח זה מתאר פיתוח יישומים באמצעות מספר מצלמות CSI-2 במשפחת המכשירים AM6x. מוצג עיצוב ייחוס של זיהוי אובייקטים עם למידה עמוקה על 4 מצלמות ב-SoC AM62A עם ניתוח ביצועים. עקרונות כלליים של העיצוב חלים על SoCs אחרים עם ממשק CSI-2, כגון AM62x ו-AM62P.

מָבוֹא

מצלמות משובצות ממלאות תפקיד חשוב במערכות ראייה מודרניות. שימוש במצלמות מרובות במערכת מרחיב את יכולות המערכות הללו ומאפשר יכולות שאינן אפשריות עם מצלמה אחת. להלן כמה דוגמאותampמספר יישומים המשתמשים במצלמות משובצות מרובות:

מעקב אבטחה: מצלמות מרובות הממוקמות אסטרטגית מספקות כיסוי מעקב מקיף. הן מאפשרות מעקב פנורמי. views, להפחית נקודות מתות ולשפר את דיוק המעקב והזיהוי של אובייקטים, ולשפר את אמצעי האבטחה הכוללים.
לְהַקִיף Viewמצלמות מרובות משמשות ליצירת מערך ראייה סטריאו, המאפשר מידע תלת-ממדי והערכת עומק. זה חיוני למשימות כגון זיהוי מכשולים בכלי רכב אוטונומיים, מניפולציה מדויקת של עצמים ברובוטיקה וריאליזם משופר של חוויות מציאות רבודה.

מערכת מקליט תא נוסעים ומערכת מראות מצלמה: מערכת מקליט תא נוסעים ברכב עם מספר מצלמות יכולה לספק כיסוי רב יותר באמצעות מעבד יחיד. באופן דומה, מערכת מראות מצלמה עם שתי מצלמות או יותר יכולה להרחיב את שדה הראייה של הנהג. view ולחסל כתמים מתים מכל צידי המכונית.
הדמיה רפואית: ניתן להשתמש במצלמות מרובות בהדמיה רפואית למשימות כמו ניווט כירורגי, מה שמספק למנתחים נקודות מבט מרובות לדיוק משופר. באנדוסקופיה, מצלמות מרובות מאפשרות בדיקה יסודית של איברים פנימיים.

רחפנים וצילום אווירי: רחפנים מגיעים לרוב מצוידים במספר מצלמות לצילום תמונות או סרטונים ברזולוציה גבוהה מזוויות שונות. זה שימושי ביישומים כמו צילום אווירי, ניטור חקלאי וסקר קרקעות.
עם התקדמות המיקרו-מעבדים, ניתן לשלב מספר מצלמות לתוך מערכת על שבב אחת.
(SoC) כדי לספק פתרונות קומפקטיים ויעילים. ה-AM62Ax SoC, עם עיבוד וידאו/ראייה בעל ביצועים גבוהים והאצת למידה עמוקה, הוא מכשיר אידיאלי עבור מקרי השימוש שהוזכרו לעיל. מכשיר AM6x נוסף, ה-AM62P, בנוי עבור יישומי תצוגה תלת-ממדית משובצים בעלי ביצועים גבוהים. מצויד בהאצת גרפיקה תלת-ממדית, ה-AM3P יכול לחבר בקלות את התמונות ממספר מצלמות ולייצר תמונה פנורמית ברזולוציה גבוהה. viewהתכונות החדשניות של ה-SoC AM62A/AM62P הוצגו בפרסומים שונים, כגון [4], [5], [6] וכו'. הערת יישום זו לא תחזור על תיאורי תכונות אלה, אלא תתמקד בשילוב מצלמות CSI-2 מרובות ביישומי ראייה משובצים ב-AM62A/AM62P.

טבלה 1-1 מציגה את ההבדלים העיקריים בין AM62A ל-AM62P מבחינת עיבוד תמונה.

טבלה 1-1. הבדלים בין AM62A ל-AM62P בעיבוד תמונה

SoC	AM62A	AM62P
סוג מצלמה נתמך	עם או בלי ספק אינטרנט מובנה	עם ספק אינטרנט מובנה
נתוני פלט המצלמה	גולמי/YUV/RGB	YUV/RGB
HWA של ספק שירותי האינטרנט	כֵּן	לֹא
HWA של למידה עמוקה	כֵּן	לֹא
גרפיקה תלת-ממדית HWA	לֹא	כֵּן

חיבור מספר מצלמות CSI-2 ל-SoC
תת-מערכת המצלמה ב-AM6x SoC מכילה את הרכיבים הבאים, כפי שמוצג באיור 2-1:

מקלט MIPI D-PHY: מקבל זרמי וידאו ממצלמות חיצוניות, תומך בעד 1.5 Gbps לכל נתיב נתונים עבור 4 נתיבים.

מקלט CSI-2 (RX): מקבל זרמי וידאו ממקלט D-PHY ושולח את הזרמים ישירות לספק האינטרנט או מעביר את הנתונים לזיכרון DDR. מודול זה תומך בעד 16 ערוצים וירטואליים.
SHIM: עטיפת DMA המאפשרת שליחת הזרמים שנלכדו לזיכרון דרך DMA. ניתן ליצור מספר הקשרים של DMA באמצעות עטיפת זו, כאשר כל הקשר מתאים לערוץ וירטואלי של מקלט CSI-2.

ניתן לתמוך במספר מצלמות ב-AM6x באמצעות שימוש בערוצים וירטואליים של CSI-2 RX, למרות שיש רק ממשק CSI-2 RX אחד ב-SoC. נדרש רכיב צבירה חיצוני של CSI-2 כדי לשלב מספר זרמי מצלמה ולשלוח אותם ל-SoC יחיד. ניתן להשתמש בשני סוגים של פתרונות צבירה של CSI-2, המתוארים בסעיפים הבאים.

צובר CSI-2 באמצעות SerDes
דרך אחת לשלב מספר זרמי מצלמה היא להשתמש בפתרון של סידור וביטול סידור (SerDes). נתוני ה-CSI-2 מכל מצלמה מומרים על ידי ממיר סידורי ומועברים דרך כבל. הממיר מקבל את כל הנתונים המסודרים המועברים מהכבלים (כבל אחד לכל מצלמה), ממיר את הזרמים בחזרה לנתוני CSI-2, ולאחר מכן שולח זרם CSI-2 משולב לממשק CSI-2 RX יחיד ב-SoC. כל זרם מצלמה מזוהה על ידי ערוץ וירטואלי ייחודי. פתרון צבירה זה מציע את היתרון הנוסף של מתן אפשרות לחיבור למרחק רב של עד 15 מטר מהמצלמות ל-SoC.

מכשירי ה-FPD-Link וה-V3-Link (serializers) ‏(SerDes), הנתמכים ב-AM6x Linux SDK, הם הטכנולוגיות הפופולריות ביותר עבור סוג זה של פתרון צבירה של CSI-2. גם למכשירי ה-FPD-Link וגם ל-V3-Link יש ערוצים אחוריים שניתן להשתמש בהם כדי לשלוח אותות סינכרון פריימים כדי לסנכרן את כל המצלמות, כפי שמוסבר ב-[7].
איור 2-2 מציג אקסampשימוש ב-SerDes לחיבור מספר מצלמות ל-SoC AM6x יחיד.

אקסampחלק מפתרון צבירה זה ניתן למצוא בערכת פתרון המצלמה Arducam V3Link. ערכה זו כוללת רכזת ביטול סידור אשר צוברת 4 זרמי מצלמות CSI-2, כמו גם 4 זוגות של מצלמות סידור V3link ומצלמות IMX219, כולל כבלים קואקסיאליים FAKRA וכבלי FPC בעלי 22 פינים. עיצוב הייחוס שיידון בהמשך בנוי על ערכה זו.

צובר CSI-2 ללא שימוש ב-SerDes
סוג זה של צובר יכול להתממשק ישירות עם מספר מצלמות MIPI CSI-2 ולאגד את הנתונים מכל המצלמות לזרם פלט CSI-2 יחיד.

איור 2-3 מציג אקסampשל מערכת כזו. סוג זה של פתרון צבירה אינו משתמש בסידור/ביטול סידור אלא מוגבל על ידי המרחק המרבי של העברת נתונים CSI-2, שהוא עד 30 ס"מ. ערכת פיתוח התוכנה AM6x Linux אינה תומכת בסוג זה של צבירה CSI-2.

הפעלת מצלמות מרובות בתוכנה

ארכיטקטורת תוכנה של תת-מערכת המצלמה
איור 3-1 מציג דיאגרמת בלוקים ברמה גבוהה של תוכנת מערכת לכידת המצלמה ב-AM62A/AM62P Linux SDK, התואמת למערכת החומרה באיור 2-2.

ארכיטקטורת תוכנה זו מאפשרת ל-SoC לקבל זרמי מצלמה מרובים באמצעות SerDes, כפי שמוצג באיור 2-2. ה-FPD-Link/V3-Link SerDes מקצה כתובת I2C ייחודית וערוץ וירטואלי לכל מצלמה. יש ליצור שכבת עץ התקנים ייחודית עם כתובת I2C ייחודית עבור כל מצלמה. מנהל ההתקן CSI-2 RX מזהה כל מצלמה באמצעות מספר הערוץ הווירטואלי הייחודי ויוצר הקשר DMA לכל זרם מצלמה. נוצר צומת וידאו עבור כל הקשר DMA. נתונים מכל מצלמה מתקבלים לאחר מכן ומאוחסנים באמצעות DMA בזיכרון בהתאם. יישומי מרחב משתמשים משתמשים בצמתי הווידאו המתאימים לכל מצלמה כדי לגשת לנתוני המצלמה. לדוגמהampהוראות שימוש בארכיטקטורת תוכנה זו ניתנות בפרק 4 - עיצוב עזר.
כל מנהל התקן חיישן ספציפי התואם למסגרת V4L2 יכול להתחבר בארכיטקטורה זו. עיין ב-[8] בנוגע לאופן שבו ניתן לשלב מנהל התקן חיישן חדש ב-SDK של לינוקס.

ארכיטקטורת תוכנה של צינור תמונות

ערכת פיתוח התוכנה AM6x Linux מספקת את מסגרת GStreamer (GST), בה ניתן להשתמש במרחב ה-ser כדי לשלב את רכיבי עיבוד התמונה עבור יישומים שונים. גישה למאיצי החומרה (HWA) ב-SoC, כגון Vision Pre-processing Accelerator (VPAC) או ISP, מקודד/מפענח וידאו ומנוע מחשוב למידה עמוקה (Deep Learning), מתבצעת דרך GST. pluginsל-VPAC ‏(ISP) עצמו יש מספר בלוקים, כולל Vision Imaging Sub-System (VISS),‏ Lens Distortion Correction (LDC) ו-Multiscalar (MSC), שכל אחד מהם מתאים לתוסף GST.

איור 3-2 מציג את תרשים הבלוקים של צינור תמונה טיפוסי מהמצלמה לקידוד או לעומק
יישומי למידה ב-AM62A. לפרטים נוספים על זרימת הנתונים מקצה לקצה, עיין בתיעוד של ערכת ה-SDK של EdgeAI.

עבור AM62P, תהליך העיבוד של התמונה פשוט יותר מכיוון שאין ספק אינטרנט ב-AM62P.

עם צומת וידאו שנוצר עבור כל אחת מהמצלמות, צינור התמונה מבוסס GStreamer מאפשר עיבוד של מספר כניסות מצלמה (המחוברות דרך אותו ממשק CSI-2 RX) בו זמנית. תכנון ייחוס המשתמש ב-GStreamer עבור יישומים מרובי מצלמות ניתן בפרק הבא.

עיצוב עזר

פרק זה מציג תכנון ייחוס של הפעלת יישומים מרובי מצלמות על גבי AM62A EVM, תוך שימוש בערכת פתרון המצלמה Arducam V3Link לחיבור 4 מצלמות CSI-2 ל-AM62A והפעלת זיהוי עצמים עבור כל 4 המצלמות.

מצלמות נתמכות
ערכת Arducam V3Link עובדת הן עם מצלמות מבוססות FPD-Link/V3-Link והן עם מצלמות CSI-2 תואמות Raspberry Pi. המצלמות הבאות נבדקו:

D3 הנדסה D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

מצלמות IMX219 בערכת פתרונות המצלמה Arducam V3Link

התקנת ארבע מצלמות IMX219
פעל לפי ההוראות המופיעות במדריך ההתחלה המהירה של ערכת המתחילים AM62A EVM כדי להגדיר את SK-AM62A-LP EVM (AM62A SK) ואת מדריך ההתחלה המהירה של פתרון המצלמה ArduCam V3Link כדי לחבר את המצלמות ל-AM62A SK דרך ערכת V3Link. ודא שהפינים בכבלים הגמישים, המצלמות, לוח V3Link ו-AM62A SK מיושרים כראוי.

איור 4-1 מציג את ההתקנה ששימשה לתכנון הייחוס בדוח זה. המרכיבים העיקריים בהתקנה כוללים:

לוח EVM SK-AM1A-LP אחד
1X לוח מתאם Arducam V3Link d-ch
כבל FPC המחבר את Arducam V3Link ל- SK-AM62A

4X מתאמי מצלמה V3Link (ממירים סדרתיים)
4 כבלי RF קואקסיאליים לחיבור סדרתיים של V3Link לערכת d-ch של V3Link
4 מצלמות IMX219

4 כבלי CSI-2 בעלי 22 פינים לחיבור מצלמות לממירים סדרתיים
כבלים: כבל HDMI, כבל USB-C להפעלת SK-AM62A-LP וספק כוח 12V עבור ערכת V3Link d-ch)
רכיבים אחרים שלא מוצגים באיור 4-1: כרטיס micro-SD, כבל micro-USB לגישה ל-SK-AM62A-LP, ו-Ethernet להזרמה

הגדרת מצלמות וממשק CSI-2 RX
הגדר את התוכנה בהתאם להוראות המופיעות במדריך ההתחלה המהירה של Arducam V3Link. לאחר הפעלת סקריפט הגדרת המצלמה, setup-imx219.sh, פורמט המצלמה, פורמט ממשק CSI-2 RX והנתיבים מכל מצלמה לצומת הווידאו המתאים יוגדרו כראוי. ארבעה צומתי וידאו נוצרים עבור ארבע מצלמות IMX219. הפקודה "v4l2-ctl –list-devices" מציגה את כל התקני הווידאו V4L2, כפי שמוצג להלן:

ישנם 6 צמתי וידאו וצומת מדיה אחד תחת tiscsi1rx. כל צומת וידאו מתאים להקשר DMA שהוקצה על ידי מנהל ההתקן CSI2 RX. מתוך 2 צמתי הווידאו, 6 משמשים עבור 4 מצלמות IMX4, כפי שמוצג בטופולוגיית צינור המדיה שלהלן:

כפי שמוצג לעיל, לישות המדיה 30102000.ticsi2rx יש 6 פדי מקור, אך רק 4 הראשונים משמשים, כל אחד עבור IMX219 אחד. ניתן גם להמחיש את טופולוגיית צינור המדיה בצורה גרפית. הפעל את הפקודה הבאה כדי ליצור נקודה file:

לאחר מכן הפעל את הפקודה למטה במחשב מארח לינוקס כדי ליצור קובץ PNG file:

איור 4-2 הוא תמונה שנוצרה באמצעות הפקודות שניתנו לעיל. ניתן למצוא את הרכיבים בארכיטקטורת התוכנה של איור 3-1 בגרף זה.

הזרמה מארבע מצלמות
כאשר החומרה והתוכנה מוגדרות כראוי, ניתן להפעיל יישומים מרובי מצלמות ממרחב המשתמש. עבור AM62A, יש לכוונן את ספק שירותי האינטרנט (ISP) כדי לייצר איכות תמונה טובה. עיין במדריך כוונון ספק שירותי האינטרנט של AM6xA לקבלת מידע על אופן ביצוע כוונון ספק שירותי האינטרנט. הסעיפים הבאים מציגים דוגמאותampכמות הזרמת נתוני מצלמה לצג, הזרמת נתוני מצלמה לרשת ואחסון נתוני המצלמה ב files.

הזרמת נתוני מצלמה לתצוגה
יישום בסיסי של מערכת מרובת מצלמות זו הוא הזרמת הסרטונים מכל המצלמות לצג המחובר לאותו SoC. להלן דוגמה של צינור GStreamerampשל הזרמת ארבעה IMX219 לצג (מספרי צומת הווידאו ומספרי v4l-subdev בצינור ישתנו ככל הנראה מאתחול לאתחול).

הזרמת נתוני מצלמה דרך Ethernet
במקום להזרים את נתוני המצלמה לצג המחובר לאותו SoC, ניתן גם להזרים אותם דרך ה-Ethernet. הצד המקבל יכול להיות מעבד AM62A/AM62P אחר או מחשב מארח. להלן דוגמה.ampשל הזרמת נתוני המצלמה דרך ה-Ethernet (תוך שימוש בשתי מצלמות לשם פשטות) (שימו לב לתוסף המקודד בו נעשה שימוש בצנרת):

להלן אקסampשל קבלת נתוני המצלמה והזרמה לצג במעבד AM62A/AM62P אחר:

אחסון נתוני מצלמה אל Files
במקום להזרים לתצוגה או דרך רשת, ניתן לאחסן את נתוני המצלמה בקובץ מקומי files. הצינור למטה מאחסן את הנתונים של כל מצלמה אל file (שימוש בשתי מצלמות כדוגמה)ampלשם פשטות).

הסקה של למידה עמוקה מרובת מצלמות

AM62A מצויד במאיץ למידה עמוקה (C7x-MMA) עם עד שני עמודי TOPS, המסוגלים להריץ סוגים שונים של מודלים של למידה עמוקה עבור סיווג, זיהוי אובייקטים, פילוח סמנטי ועוד. סעיף זה מראה כיצד AM62A יכול להריץ בו זמנית ארבעה מודלים של למידה עמוקה על ארבעה הזנות מצלמה שונות.

בחירת דגם
EdgeAI-ModelZoo של TI מספק מאות מודלים חדישים, אשר מומרים/מיוצאים ממסגרות האימון המקוריות שלהם לפורמט ידידותי למשתמש, כך שניתן יהיה להעביר אותם למאיץ הלמידה העמוקה C7x-MMA. מנתח המודלים Edge AI Studio, המבוסס על ענן, מספק כלי "בחירת מודל" קל לשימוש. הוא מתעדכן באופן דינמי כדי לכלול את כל המודלים הנתמכים ב-TI EdgeAI-ModelZoo. הכלי אינו דורש ניסיון קודם ומספק ממשק קל לשימוש להזנת התכונות הנדרשות במודל הרצוי.

עבור ניסוי למידה עמוקה מרובה-מצלמות זה נבחר ה-TFL-OD-2000-ssd-mobV1-coco-mlperf. מודל זיהוי מרובה-אובייקטים זה פותח במסגרת TensorFlow עם רזולוציית קלט של 300×300. טבלה 4-1 מציגה את התכונות החשובות של מודל זה כאשר הוא מאומן על מערך הנתונים cCOCO עם כ-80 מחלקות שונות.

טבלה 4-1. הדגשת מאפייני הדגם TFL-OD-2000-ssd-mobV1-coco-mlperf.

דֶגֶם	מְשִׁימָה	הַחְלָטָה	FPS	mAP 50% דיוק על קוקוס	זמן השהיה/פריים (אלפיות שנייה)	DDR שחור-שחור ניצול (MB/פריים)
TFL-OD-2000-ssd- mobV1-coco-mlperf	זיהוי אובייקטים מרובים	300×300	~152	15.9	6.5	18.839

הקמת צינור
איור 4-3 מציג את צינור הלמידה העמוקה של GStreamer עם 4 מצלמות. TI מספקת חבילה של GStreamer plugins המאפשרים להעביר חלק מעיבוד המדיה והסקת הלמידה העמוקה למאיצי החומרה. חלקם לדוגמהampפחות מאלה plugins כוללים את tiovxisp, tiovxmultiscaler, tiovxmosaic ו-tidlinferer. הצינור באיור 4-3 כולל את כל הנדרש plugins עבור צינור GStreamer מרובה נתיבים עבור כניסות של 4 מצלמות, כל אחד עם קדם-עיבוד מדיה, הסקת למידה עמוקה ועיבוד לאחר. המשוכפל plugins עבור כל אחד מנתיבי המצלמה מוערמים בגרף להדגמה קלה יותר.
משאבי החומרה הזמינים מחולקים באופן שווה בין ארבעת נתיבי המצלמה. לדוגמה, AM62A מכיל שני רב-מדרגי תמונה: MSC0 ו-MSC1. הצינור מקדיש במפורש את MSC0 לנתיבים של מצלמת 1 ומצלמה 2, בעוד ש-MSC1 מוקדש למצלמה 3 ולמצלמה 4.

הפלט של ארבעת צינורות המצלמה מצטמצם ומחובר יחד באמצעות התוסף tiovxmosaic. הפלט מוצג על מסך יחיד. איור 4-4 מציג את הפלט של ארבע המצלמות עם מודל למידה עמוקה המריץ זיהוי אובייקטים. כל צינור (מצלמה) פועל ב-30 פריימים לשנייה ובסך הכל 120 פריימים לשנייה.

הבא הוא סקריפט הצינור המלא עבור מקרה השימוש בלמידה עמוקה מרובת מצלמות המוצג באיור 4-3.

ניתוח ביצועים

ההתקנה עם ארבע מצלמות המשתמשות בלוח V3Link וב-AM62A SK נבדקה בתרחישי יישומים שונים, כולל הצגה ישירה על המסך, סטרימינג דרך Ethernet (ארבעה ערוצי UDP), הקלטה ל-4 מצלמות נפרדות. files, ועם הסקה של למידה עמוקה. בכל ניסוי, ניטרנו את קצב הפריימים ואת ניצול ליבות המעבד כדי לחקור את יכולות המערכת כולה.

כפי שהוצג קודם לכן באיור 4-4, צינור הלמידה העמוקה משתמש בתוסף tiperfoverlay GStreamer כדי להציג עומסי ליבות המעבד כגרף עמודות בתחתית המסך. כברירת מחדל, הגרף מתעדכן כל שתי שניות כדי להציג את העומסים כאחוז ניצול.tagה. בנוסף לתוסף tiperfoverlay של GStreamer, הכלי perf_stats הוא אפשרות שנייה להצגת ביצועי ליבה ישירות בטרמינל עם אפשרות לשמירה אל fileכלי זה מדויק יותר בהשוואה ל-tTiperfoverlay, שכן האחרון מוסיף עומס נוסף על ליבות ה-ARMm וה-DDR כדי לצייר את הגרף ולצפות אותו על המסך. הכלי perf_stats משמש בעיקר לאיסוף תוצאות ניצול חומרה בכל מקרי הבדיקה המוצגים במסמך זה. חלק מליבות העיבוד והמאיצים החשובים שנחקרו בבדיקות אלו כוללים את המעבדים העיקריים (ארבע ליבות A53 Arm בתדר 1.25GHz), מאיץ הלמידה העמוקה (C7x-MMA בתדר 850MHz), ה-VPAC (ISP) עם VISS ומערכות מרובות סקיילרים (MSC0 ו-MSC1) ופעולות DDR.

טבלה 5-1 מציגה את הביצועים וניצול המשאבים בעת שימוש ב-AM62A עם ארבע מצלמות עבור שלושה מקרי שימוש, כולל הזרמת ארבע מצלמות לצג, הזרמת רשת דרך Ethernet והקלטה לארבעה מצלמות נפרדות. fileשני מבחנים מיושמים בכל מקרה שימוש: עם המצלמה בלבד ועם הסקת למידה עמוקה. בנוסף, השורה הראשונה בטבלה 5-1 מציגה את ניצול החומרה כאשר רק מערכת ההפעלה פעלה על AM62A ללא יישומי משתמש. נתון זה משמש כבסיס להשוואה בעת הערכת ניצול החומרה של מקרי הבדיקה האחרים. כפי שמוצג בטבלה, ארבע המצלמות עם למידה עמוקה ותצוגת מסך פעלו ב-30 פריימים לשנייה כל אחת, עם סך של 120 פריימים לשנייה עבור ארבע המצלמות. קצב פריימים גבוה זה מושג רק עם 86% מהקיבולת המלאה של מאיץ הלמידה העמוקה (C7x-MMA). בנוסף, חשוב לציין כי מאיץ הלמידה העמוקה תוכנן ב-850 מגה-הרץ במקום 1000 מגה-הרץ בניסויים אלה, שהם כ-85% בלבד מהביצועים המרביים שלו.

טבלה 5-1. ביצועים (FPS) וניצול משאבים של AM62A בעת שימוש עם 4 מצלמות IMX219 עבור תצוגת מסך, זרם Ethernet, הקלטה אל Files, וביצוע הסקה של למידה עמוקה

יישום n	צינור (פעולה )	תְפוּקָה	FPS צינור ממוצע	FPS סַך הַכֹּל	יחידות MPU A53s ב-1.25 גיגה-הרץ [%]	R5 של מיקרו-בקר [%]	DLA (C7x-MMA) @ 850 מגהרץ [%]	ויס [%]	MSC0 [%]	MSC1 [%]	DDR כביש [MB/s]	DDR זמן קריאה [MB/s]	DDR סה"כ [MB/s]
אין אפליקציה	בסיס ללא פעולה	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
מַצלֵמָה רַק	זֶרֶם למסך	מָסָך	30	120	12	12	0	70	61	60	1015	757	1782
	הזרמה דרך אתרנט	PDU: 4 פורטים 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	רְשׁוּמָה אֶל files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
פִּקָה עם למידה עמוקה	למידה עמוקה: זיהוי אובייקטים MobV1- קוקו	מָסָך	30	120	38	25	86	71	85	82	2926	1676	4602
	למידה עמוקה: זיהוי אובייקטים MobV1- coco ו-Stream over Ethernet	PDU: 4 פורטים 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	למידה עמוקה: זיהוי אובייקטים MobV1- קוקו והקלטה אל files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

תַקצִיר
דוח יישום זה מתאר כיצד ליישם יישומי מצלמות מרובות על משפחת המכשירים AM6x. בדוח מסופק עיצוב ייחוס המבוסס על ערכת פתרונות המצלמה V3Link של Arducam ו-AM62A SK EVM, עם מספר יישומי מצלמה המשתמשים בארבע מצלמות IMX219, כגון סטרימינג וזיהוי עצמים. מומלץ למשתמשים לרכוש את ערכת פתרונות המצלמה V3Link מ-Arducam ולשכפל דוגמאות אלו.ampהדו"ח מספק גם ניתוח מפורט של ביצועי AM62A בעת שימוש בארבע מצלמות תחת תצורות שונות, כולל הצגה על מסך, סטרימינג דרך Ethernet והקלטה ל... fileזה גם מראה את יכולתו של AM62A לבצע הסקת למידה עמוקה על ארבעה זרמי מצלמה נפרדים במקביל. אם יש שאלות לגבי הפעלת דוגמאות אלהampלס, שלחו שאילתה בפורום TI E2E.

הפניות

מדריך התחלה מהירה לערכת AM62A למתחילים EVM

מדריך התחלה מהירה לפתרון מצלמות ArduCam V3Link
תיעוד ערכת פיתוח התוכנה Edge AI עבור AM62A
מצלמות חכמות Edge AI המשתמשות במעבד AM62A חסכוני באנרגיה

מערכות מראות מצלמה ב-AM62A
מערכות ניטור נהג ותפוסה ב-AM62A
יישום מצלמת ארבע ערוצים לצפייה בסראונד View ומערכות מצלמות CMS

AM62Ax Linux Academy בנושא הפעלת חיישן CIS-2
דגם Edge AI‏Zoo
סטודיו אדג' בינה מלאכותית

כלי Perf_stats

חלקי TI המוזכרים ביישום זה הערה:

https://www.ti.com/product/AM62A7

הודעה חשובה וכתב ויתור

TI מספקת נתונים טכניים ואמינות (כולל דפי מידע), משאבי עיצוב (כולל עיצובי עזר), ייעוץ יישום או עיצוב אחר, WEB כלים, מידע בטיחותי ומשאבים אחרים "כפי שהם" ועם כל התקלות, ומתנער מכל האחריות, מפורשת ומשתמעת, לרבות ללא הגבלה כל אחריות משתמעת של סחירות צדדית או סמכותיות, מצד לצד .

משאבים אלו מיועדים למפתחים מיומנים המתכננים עם מוצרי TI. אתה האחראי הבלעדי

בחירת מוצרי TI המתאימים ליישום שלך,

עיצוב, אימות ובדיקת האפליקציה שלך, ו
לוודא שהאפליקציה שלך עומדת בתקנים הרלוונטיים, ובכל דרישה אחרת של בטיחות, אבטחה, רגולציה או דרישות אחרות.

משאבים אלה ניתנים לשינוי ללא הודעה מוקדמת. TI מתירה לך להשתמש במשאבים אלה אך ורק לצורך פיתוח יישום המשתמש במוצרי TI המתוארים במשאב. שכפול והצגה אחרים של משאבים אלה אסורים. לא מוענק רישיון לכל זכות קניין רוחני אחרת של TI או לכל זכות קניין רוחני של צד שלישי. TI מתנערת מאחריות לכל תביעה, נזק, עלות, הפסד וחבות הנובעים משימושך במשאבים אלה, ותפצה באופן מלא את TI ונציגיה מפני כל תביעה, נזק, עלות, הפסד וחבות הנובעים משימושך במשאבים אלה.

המוצרים של TI מסופקים בכפוף לתנאי המכירה של TI או לתנאים רלוונטיים אחרים הזמינים בכל אחד מהשניים ti.com או מסופקים בשילוב עם מוצרי TI כאלה. אספקת משאבים אלה של TI אינה מרחיבה או משנה אחרת את האחריות החלה של TI או את הוויתור האחריות עבור מוצרי TI.

TI מתנגדת ודוחה כל תנאי נוסף או שונה שהצעת.

הודעה חשובה

כתובת דואר: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

שאלות נפוצות

ש: האם ניתן להשתמש בכל סוג של מצלמה עם משפחת המכשירים AM6x?

משפחת AM6x תומכת בסוגי מצלמות שונים, כולל כאלה עם או בלי ספק אינטרנט מובנה. עיינו במפרטים לקבלת פרטים נוספים על סוגי המצלמות הנתמכים.

מהם ההבדלים העיקריים בין AM62A ל-AM62P בעיבוד תמונה?

הווריאציות העיקריות כוללות סוגי מצלמות נתמכים, נתוני פלט של המצלמה, נוכחות של HWA של ספק שירותי אינטרנט, HWA של למידה עמוקה ו-HWA של גרפיקה תלת-ממדית. עיין בסעיף המפרט לקבלת השוואה מפורטת.

מסמכים / משאבים

טקסס אינסטרומנטס AM6x מפתחת מצלמות מרובות [pdfמדריך למשתמש
AM62A, AM62P, AM6x פיתוח מצלמות מרובות, AM6x, פיתוח מצלמות מרובות, מצלמות מרובות, מצלמה

הפניות

מדריך למשתמש

טקסס אינסטרומנטס AM6x מפתחת מספר מצלמות

מפרטים