טעקסאַס אינסטרומענטן AM6x דעוועלאָפּינג קייפל קאַמעראַס באַניצער גייד

איינגעבויטע קאַמעראַס שפּילן אַ קריטישע ראָלע אין מאָדערנע זעאונג סיסטעמען.
ניצן קייפל קאַמעראַס אין אַ סיסטעם פֿאַרבעסערט מעגלעכקייטן און ערמעגליכט אויפֿגאַבן וואָס זענען נישט דערגרייכלעך מיט אַן איינציקער קאַמעראַ.

אַפּליקאַציעס ניצן קייפל קאַמעראַס:

זיכערהייט אויפזיכט: פֿאַרבעסערט אויפֿזיכט קאַווערידזש, אָביעקט טראַקינג, און דערקענונג אַקיעראַסי.
אַרומרינגלען View: ערמעגליכט סטערעאָ זעאונג פֿאַר אויפֿגאַבעס ווי שטערונג דעטעקשאַן און כייפעץ מאַניפּולאַציע.

קאַבין רעקאָרדער און קאַמעראַ שפּיגל סיסטעם: גיט פארברייטערטע קאַווערידזש און עלימינירט בלינדע פלעקן.
מעדיצינישע בילדגעבונג: אָפפערט פֿאַרבעסערטע פּינקטלעכקייט אין כירורגישער נאַוויגאַציע און ענדאָסקאָפּי.

דראָנען און לופט בילדער: כאַפּן הויך-רעזאָלוציע בילדער פֿון פֿאַרשידענע ווינקלען פֿאַר פֿאַרשידענע אַפּליקאַציעס.

פֿאַרבינדן קייפל CSI-2 קאַמעראַס צו די SoC:
צו פֿאַרבינדן קייפל CSI-2 קאַמעראַס צו די SoC, פֿאָלגט די גיידליינז וואָס זענען געגעבן אין די באַניצער מאַנואַל. זיכערט זיך אַז יעדער קאַמעראַ איז ריכטיק אויסגעשטעלט און פֿאַרבונדן צו די באַשטימטע פּאָרטן אויף די SoC.

אַפּפּליקאַטיאָן באַמערקונג
אַנטוויקלען קייפל-קאַמעראַ אַפּלאַקיישאַנז אויף AM6x

Jianzhong Xu, Qutaiba Saleh

אַבסטראַקט
דיזער באריכט באשרייבט אַפּליקאַציע אַנטוויקלונג מיט קייפל CSI-2 קאַמעראַס אויף דער AM6x משפּחה פון דעוויסעס. א רעפערענץ פּלאַן פון אָביעקט דעטעקציע מיט טיף לערנען אויף 4 קאַמעראַס אויף די AM62A SoC ווערט פּרעזענטירט מיט פאָרשטעלונג אַנאַליסיס. אַלגעמיינע פּרינציפּן פון דעם פּלאַן גילטן פֿאַר אַנדערע SoCs מיט אַ CSI-2 צובינד, אַזאַ ווי AM62x און AM62P.

הקדמה

איינגעבויטע קאַמעראַס שפּילן אַ וויכטיקע ראָלע אין מאָדערנע וויזשאַן סיסטעמען. ניצן קייפל קאַמעראַס אין אַ סיסטעם יקספּאַנדז די מעגלעכקייטן פון די סיסטעמען און ערמעגליכט מעגלעכקייטן וואָס זענען נישט מעגלעך מיט אַ איין קאַמעראַ. אונטן זענען עטלעכע בייַשפּילן.ampעטלעכע אַפּליקאַציעס וואָס נוצן קייפל עמבעדעד קאַמעראַס:

זיכערהייט אויפזיכט: קייפל קאַמעראַס וואָס זענען סטראַטעגיש געשטעלט, צושטעלן פולשטענדיק אויפזיכט קאַווערידזש. זיי ערמעגלעכן פּאַנאָראַמישע viewס, רעדוצירן בלינדע פלעקן, און פֿאַרבעסערן די אַקיעראַסי פון כייפעץ טראַקינג און דערקענונג, פֿאַרבעסערן קוילעלדיק זיכערהייט מיטלען.
אַרומרינגלען Viewמען ניצט קייפל קאַמעראַס צו שאַפֿן אַ סטערעאָ וויזשאַן סעטאַפּ, וואָס ערמעגליכט דריי-דימענסיאָנאַלע אינפֿאָרמאַציע און די שאַצונג פון טיפקייט. דאָס איז קריטיש פֿאַר אויפֿגאַבעס ווי שטערונג דעטעקציע אין אויטאָנאָמע וועהיקלעס, פּינקטלעכע אָביעקט מאַניפּולאַציע אין ראָבאָטיק, און פֿאַרבעסערט רעאַליזם פון אויגמענטירטע רעאַליטעט יקספּיריאַנסיז.

קאַבין רעקאָרדער און קאַמעראַ שפּיגל סיסטעם: א קאַר קאַבין רעקאָרדער מיט קייפל קאַמעראַס קען צושטעלן מער קאַווערידזש ניצן אַן איינציקן פּראַסעסער. ענלעך, אַ קאַמעראַ שפּיגל סיסטעם מיט צוויי אָדער מער קאַמעראַס קען יקספּאַנדירן די דרייווער'ס פעלד פון view און עלימינירן בלינדע פלעקן פון אלע זייטן פון א קאר.
מעדיצינישע בילדגעבונג: קייפל קאַמעראַס קענען גענוצט ווערן אין מעדיצינישער בילדגעבונג פֿאַר אויפֿגאַבן ווי כירורגישע נאַוויגאַציע, וואָס גיט כירורגן קייפל פּערספּעקטיוון פֿאַר פֿאַרבעסערטע פּינקטלעכקייט. אין ענדאָסקאָפּיע, קייפל קאַמעראַס ערמעגלעכן אַ גרונטלעכע אויספֿאָרשונג פֿון אינערלעכע אָרגאַנען.

דראָנען און לופט בילדער: דראָנען קומען אָפט מיט קייפל קאַמעראַס צו כאַפּן הויך-רעזאָלוציע בילדער אָדער ווידיאס פון פאַרשידענע ווינקלען. דאָס איז נוצלעך אין אַפּלאַקיישאַנז ווי לופט פאָטאָגראַפיע, לאַנדווירטשאַפט מאָניטאָרינג און לאַנד סורוועיינג.
מיט דער אנטוויקלונג פון מיקראָפּראָסעסאָרן, קענען קייפל קאַמעראַס ווערן אינטעגרירט אין איין סיסטעם-אויף-טשיפּ.
(SoC) צו צושטעלן קאָמפּאַקטע און עפֿעקטיווע לייזונגען. די AM62Ax SoC, מיט הויך-פאָרשטעלונג ווידעא/וויזשאַן פּראַסעסינג און טיף לערנען אַקסעלעריישאַן, איז אַן אידעאַל מיטל פֿאַר די אויבן דערמאָנטע נוצן קאַסעס. נאָך אַ AM6x מיטל, די AM62P, איז געבויט פֿאַר הויך-פאָרשטעלונג עמבעדעד 3D דיספּליי אַפּלאַקיישאַנז. אויסגעשטאַט מיט 3D גראַפיקס אַקסעלעריישאַן, די AM62P קען לייכט צונויפשטעלן די בילדער פון קייפל קאַמעראַס און פּראָדוצירן אַ הויך-רעזאָלוציע פּאַנאָראַמיק. viewדי אינאָוואַטיווע פֿעיִקייטן פֿון די AM62A/AM62P SoC זענען שוין פּרעזענטירט געוואָרן אין פֿאַרשידענע פּובליקאַציעס, ווי [4], [5], [6], אאַ"וו. די אַפּליקאַציע נאָטיץ וועט נישט איבערחזרן די פֿעיִקייטן באַשרײַבונגען, נאָר פֿאָקוסירט זיך אויף אינטעגרירן קייפל CSI-2 קאַמעראַס אין עמבעדעד וויזשאַן אַפּליקאַציעס אויף AM62A/AM62P.

טאַבעלע 1-1 ווײַזט די הויפּט אונטערשיידן צווישן AM62A און AM62P וואָס שייך בילד פּראַסעסינג.

טאַבעלע 1-1. אונטערשיידן צווישן AM62A און AM62P אין בילד פּראַסעסינג

SoC	AM62A	AM62P
געשטיצט קאַמעראַ טיפּ	מיט אדער אָן אַן איינגעבויטן אינטערנעט פּראָוויידער	מיט א געבויטן אינטערנעט סערוויס פראוויידער
קאַמעראַ אַרויסגאַנג דאַטן	רוי/YUV/RGB	YUV/RGB
אינטערנעט סערוויס סערוויס האַוואַיי	יא	ניין
טיף לערנען HWA	יא	ניין
3-די גראַפיקס HWA	ניין	יא

פֿאַרבינדן קייפל CSI-2 קאַמעראַס צו די SoC
די קאַמעראַ סובסיסטעם אויף די AM6x SoC אנטהאלט די פאלגענדע קאָמפּאָנענטן, ווי געוויזן אין פיגור 2-1:

MIPI D-PHY ריסיווער: באַקומט ווידעא סטרימס פון פונדרויסנדיקע קאַמעראַס, שטיצן ביז 1.5 Gbps פּער דאַטן ליין פֿאַר 4 לייןס.

CSI-2 ריסיווער (RX): באַקומט ווידעא סטרימס פון די D-PHY ריסיווער און שיקט די סטרימס גלייך צום ISP אדער לייגט די דאטן אריבער צו DDR זכּרון. דער מאָדול שטיצט ביז 16 ווירטואַלע קאַנאַלן.
SHIM: א DMA ראַפּער וואָס ערמעגליכט שיקן די קאַפּטשערד סטריםס צו זכּרון איבער DMA. קייפל DMA קאָנטעקסטן קענען ווערן באשאפן דורך דעם ראַפּער, מיט יעדן קאָנטעקסט קאָרעספּאָנדירנדיק צו אַ ווירטועל קאַנאַל פון די CSI-2 ריסיווער.

מען קען שטיצן קייפל קאַמעראַס אויף די AM6x דורך די נוצן פון ווירטואַלע קאַנאַלן פון CSI-2 RX, כאָטש עס איז נאָר איין CSI-2 RX צובינד אויף די SoC. מען דאַרף אַן עקסטערנער CSI-2 אַגרעגייטינג קאָמפּאָנענט צו קאָמבינירן קייפל קאַמעראַ סטרימז און שיקן זיי צו איין SoC. מען קען נוצן צוויי טייפּס פון CSI-2 אַגרעגייטינג סאַלושאַנז, באַשריבן אין די פאלגענדע סעקציעס.

CSI-2 אַגגרעגאַטאָר ניצנדיק סערדעס
איין וועג צו קאָמבינירן קייפל קאַמעראַ סטרימס איז צו נוצן אַ סעריאַלייזינג און דעסעריאַלייזינג (SerDes) לייזונג. די CSI-2 דאַטן פון יעדער קאַמעראַ ווערט קאָנווערטירט דורך אַ סעריאַליזער און טראַנספערד דורך אַ קאַבל. דער דעסעריאַליזער באַקומט אַלע סעריאַליזירטע דאַטן טראַנספערד פון די קייבאַלז (איין קאַבל פּער קאַמעראַ), קאָנווערטירט די סטרימס צוריק צו CSI-2 דאַטן, און שיקט דאַן אַרויס אַן ינטערליווד CSI-2 סטרים צו די איין CSI-2 RX צובינד אויף די SoC. יעדער קאַמעראַ סטרים ווערט אידענטיפיצירט דורך אַ יינציק ווירטועל קאַנאַל. די אַגרעגייטינג לייזונג אָפפערס די נאָך נוץ פון אַלאַוינג לאַנג-דיסטאַנס קאַנעקשאַן פון אַרויף צו 15 מעטער פון די קאַמעראַס צו די SoC.

די FPD-Link אדער V3-Link סעריאַליזערס און דעסעריאַליזערס (SerDes), געשטיצט אין די AM6x לינוקס SDK, זענען די מערסט פאָלקס טעכנאָלאָגיעס פֿאַר דעם טיפּ פון CSI-2 אַגרעגייטינג לייזונג. ביידע די FPD-Link און V3-Link דעסעריאַליזערס האָבן צוריק טשאַנאַלז וואָס קענען ווערן געניצט צו שיקן ראַם סינק סיגנאַלז צו סינקראָניזירן אַלע די קאַמעראַס, ווי דערקלערט אין [7].
פיגורע 2-2 ווייזט אַן עקסampדי נוצן פון די SerDes צו פאַרבינדן קייפל קאַמעראַס צו אַ איין AM6x SoC.

אַן עקסampא טייל פון דעם אַגרעגירן לייזונג קען מען געפֿינען אין דעם Arducam V3Link קאַמעראַ לייזונג קיט. דער קיט האט אַ דעסעריאַליזער כאַב וואָס אַגרעגירט 4 CSI-2 קאַמעראַ סטרימז, ווי אויך 4 פּאָר V3link סעריאַליזערס און IMX219 קאַמעראַס, אַרייַנגערעכנט FAKRA קאָאַקסיאַל קייבאַלז און 22-פּין FPC קייבאַלז. דער רעפֿערענץ פּלאַן וואָס וועט שפּעטער דיסקוטירט ווערן איז געבויט אויף דעם קיט.

CSI-2 אַגגרעגאַטאָר אָן ניצן סערדעס
די סארט אַגרעגאַטאָר קען גלייך צובינדן זיך מיט קייפל MIPI CSI-2 קאַמעראַס און אַגרעגירן די דאַטן פון אַלע קאַמעראַס צו איין CSI-2 אַוטפּוט סטרים.

פיגורע 2-3 ווייזט אַן עקסampפון אזא סיסטעם. די סארט אגרעגיר-לייזונג ניצט נישט קיין סעריאַליזער/דעסעריאַלייזער נאר איז באגרענעצט דורך די מאקסימום דיסטאַנץ פון CSI-2 דאַטן טראַנספער, וואָס איז ביז 30 ס״מ. די AM6x לינוקס SDK שטיצט נישט די סארט CSI-2 אגרעגאַטאָר.

אַקטיווירן קייפל קאַמעראַס אין ווייכווארג

קאַמעראַ סובסיסטעם ווייכווארג אַרכיטעקטור
פיגור 3-1 ווייזט א הויך-לעוועל בלאק דיאגראם פון די קאמערע כאַפּטשער סיסטעם ווייכווארג אין AM62A/AM62P לינוקס SDK, וואס קארעספאנדירט צו די האַרדווער סיסטעם אין פיגור 2-2.

די ווייכווארג ארכיטעקטור ערמעגליכט דעם SoC צו באקומען קייפל קאמערא סטרימס מיטן באנוץ פון SerDes, ווי געוויזן אין פיגור 2-2. דער FPD-Link/V3-Link SerDes באשטימט א יוניק I2C אדרעס און ווירטואלן קאנאל צו יעדער קאמערא. א יוניק דעווייס בוים איבערדעקונג זאל באשאפן ווערן מיטן יוניק I2C אדרעס פאר יעדער קאמערא. דער CSI-2 RX דרייווער דערקענט יעדע קאמערא מיטן יוניק ווירטואלן קאנאל נומער און שאפט א DMA קאנטעקסט פער קאמערא סטרים. א ווידעא נאָדע ווערט באשאפן פאר יעדן DMA קאנטעקסט. דאטא פון יעדער קאמערא ווערט דאן באקומען און געהאלטן מיטן DMA אין דעם זכרון לויט דעם. באנוצער ספעיס אפליקאציעס ניצן די ווידעא נאָודס וואס קארעספאנדירן צו יעדער קאמערא צו צוקומען צו די קאמערא דאטא. למשלampלעקציעס פון ניצן דעם ווייכווארג ארכיטעקטור ווערן געגעבן אין קאפיטל 4 – רעפערענץ דיזיין.

יעדער ספּעציפֿישער סענסאָר דרייווער וואָס איז קאָמפּאַטיבל מיטן V4L2 פריימווערק קען זיך אַרײַנשטעקן אין דעם אַרכיטעקטור. זעט [8] וועגן ווי אַזוי צו אינטעגרירן אַ נײַעם סענסאָר דרייווער אין דעם לינוקס SDK.

בילד פּייפּליין ווייכווארג אַרכיטעקטור

דער AM6x לינוקס SDK גיט דעם GStreamer (GST) פריימווערק, וואָס קען גענוצט ווערן אין דער סער ספעיס צו אינטעגרירן די בילד פּראַסעסינג קאָמפּאָנענטן פֿאַר פֿאַרשידענע אַפּליקאַציעס. די האַרדווער אַקסעלעראַטאָרס (HWA) אויף דער SoC, ווי דער Vision Pre-processing Accelerator (VPAC) אדער ISP, ווידעא ענקאָדער/דעקאָדער, און טיף לערנען קאָמפּיוט מאָטאָר, ווערן צוטריטלעך דורך GST. pluginsדי VPAC (ISP) אליין האט קייפל בלאקס, אריינגערעכנט וויזשאַן אימעדזשינג סוב-סיסטעם (VISS), לענס דיסטאָרשאַן קאָרעקציע (LDC), און מולטיסקאַלער (MSC), יעדער קאָרעספּאָנדירנדיק צו אַ GST פּלוגין.
פיגור 3-2 ווייזט די בלאק דיאגראם פון א טיפישע בילד רערנ-ליניע פון דער קאמערא צו ענקאָודינג אדער טיף
לערנען אַפּליקאַציעס אויף AM62A. פֿאַר מער פרטים וועגן דעם ענד-צו-ענד דאַטן פלוס, זעט די EdgeAI SDK דאָקומענטאַציע.

פֿאַר AM62P, איז די בילד פּייפּליין פּשוטער ווײַל עס איז נישטאָ קיין ISP אויף AM62P.

מיט א ווידעא נאָדע באשאפן פאר יעדער פון די קאַמעראַס, דערמעגלעכט די GStreamer-באזירטע בילד פּייפּליין די פּראַסעסינג פון קייפל קאַמעראַ ינפּוץ (פאַרבונדן דורך די זעלבע CSI-2 RX צובינד) סיימאַלטייניאַסלי. א רעפערענץ פּלאַן ניצן GStreamer פֿאַר מולטי-קאַמעראַ אַפּלאַקיישאַנז איז געגעבן אין די ווייַטער קאַפּיטל.

רעפערענץ פּלאַן

דאס קאפיטל שטעלט פאר א רעפערענץ דיזיין פון לויפן קייפל-קאַמעראַ אַפּלאַקיישאַנז אויף AM62A EVM, ניצן די Arducam V3Link קאַמעראַ לייזונג קיט צו פאַרבינדן 4 CSI-2 קאַמעראַס צו AM62A און לויפן אָביעקט דיטעקשאַן פֿאַר אַלע 4 קאַמעראַס.

שטיצט קאַמעראַס
דער אַרדוקאַם V3Link קיט אַרבעט מיט ביידע FPD-Link/V3-Link-באַזירטע קאַמעראַס און Raspberry Pi-קאָמפּאַטיבלע CSI-2 קאַמעראַס. די פאלגענדע קאַמעראַס זענען געטעסט געוואָרן:

ד3 אינזשעניריע ד3RCM-IMX390-953
לעאָפּאַרד ימאַגינג LI-OV2312-FPDLINKIII-110H
IMX219 קאַמעראַס אין די אַרדוקאַם V3Link קאַמעראַ לייזונג קיט

אויפשטעלן פיר IMX219 קאַמעראַס
פֿאָלגט די אינסטרוקציעס וואָס זענען געגעבן אין די AM62A סטאַרטער קיט EVM שנעל אָנהייב גייד צו סעטאַפּן די SK-AM62A-LP EVM (AM62A SK) און ArduCam V3Link קאַמעראַ לייזונג שנעל אָנהייב גייד צו פאַרבינדן די קאַמעראַס צו AM62A SK דורך די V3Link קיט. מאַכט זיכער אַז די פּינס אויף די פלעקס קייבאַלז, קאַמעראַס, V3Link ברעט, און AM62A SK זענען אַלע ריכטיק אויסגעשטעלט.

פיגור 4-1 ווייזט די סעטאַפּ געניצט פֿאַר די רעפֿערענץ פּלאַן אין דעם באַריכט. די הויפּט קאָמפּאָנענטן אין די סעטאַפּ אַרייַננעמען:

1X SK-AM62A-LP EVM ברעט
1X אַרדוקאַם V3Link ד-טש אַדאַפּטער ברעט
FPC קאַבל וואָס פֿאַרבינדט Arducam V3Link צו SK-AM62A
4X V3Link קאַמעראַ אַדאַפּטערס (סעריאַליזערס)
4X RF קאָאַקסיאַל קייבאַלז צו פאַרבינדן V3Link סעריאַליזערס צו V3Link די-טש קיט
4X IMX219 קאַמעראַס
4X CSI-2 22-פּין קייבלס צו פאַרבינדן קאַמעראַס צו סעריאַליזערס
קאַבלען: HDMI קאַבלע, USB-C צו געבן שטראָם צו SK-AM62A-LP און 12V שטראָם פֿאַר V3Link די-טש קיט)
אַנדערע קאָמפּאָנענטן נישט געוויזן אין פיגור 4-1: מיקראָ-SD קאַרטל, מיקראָ-USB קאַבל צו אַקסעס SK-AM62A-LP, און עטהערנעט פֿאַר סטרימינג

קאָנפיגורירן קאַמעראַס און CSI-2 RX צובינד
שטעלט אויף די ווייכווארג לויט די אינסטרוקציעס וואס ווערן געגעבן אין די Arducam V3Link שנעל-אנהייב גייד. נאכדעם וואס איר לויפט דעם קאמערא סעטאפ סקריפט, setup-imx219.sh, די קאמערא'ס פארמאט, די CSI-2 RX אינטערפייס פארמאט, און די רוטעס פון יעדער קאמערא צום קארעספאנדירנדיקן ווידעא נאָדע וועלן זיין קאנפיגורירט ריכטיג. פיר ווידעא נאָודז ווערן באשאפן פאר די פיר IMX219 קאמעראס. די קאמאנדע "v4l2-ctl –list-devices" ווייזט אלע V4L2 ווידעא דעווייסעס, ווי געוויזן אונטן:

אונטער tiscsi6rx זענען דא 1 ווידעא נאָודס און 2 מעדיע נאָוד. יעדער ווידעא נאָוד קאָרעספּאָנדירט צו אַ DMA קאָנטעקסט וואָס איז צוגעטיילט דורך דעם CSI2 RX דרייווער. פֿון די 6 ווידעא נאָודס, ווערן 4 גענוצט פֿאַר די 4 IMX219 קאַמעראַס, ווי געוויזן אין דער מעדיע פּייפּ טאָפּאָלאָגיע אונטן:

ווי געוויזן אויבן, האט מעדיע ענטיטי 30102000.ticsi2rx 6 קוואל פּעדס, אָבער נאָר די ערשטע 4 ווערן גענוצט, יעדער פֿאַר איין IMX219. די מעדיע פּייפּ טאָפּאָלאָגיע קען אויך אילוסטרירט ווערן גראַפיש. לויפט די פאלגענדע באַפֿעל צו דזשענערירן אַ פּונקט. file:

דערנאך לויפט די באפעל אונטן אויף א לינוקס קאמפיוטער צו שאפן א PNG file:

פיגור 4-2 איז א בילד גענערירט מיט די אויבן דערמאנטע באפעלן. די קאמפאנענטן אין דער ווייכווארג ארכיטעקטור פון פיגור 3-1 קען מען געפינען אין דעם גראף.

סטרימינג פֿון פֿיר קאַמעראַס
מיט ביידע האַרדווער און ווייכווארג ריכטיק אויפגעשטעלט, קענען קייפל-קאַמעראַ אַפּליקאַציעס לויפן פֿון די באַניצער פּלאַץ. פֿאַר AM62A, מוז די ISP זיין טונדעד צו פּראָדוצירן גוטע בילד קוואַליטעט. זעט די AM6xA ISP טונדינג גייד פֿאַר ווי צו דורכפֿירן ISP טונדינג. די פֿאָלגנדיקע סעקציעס פאָרשטעלן בייַשפּילampלעסער פון סטרימינג קאַמעראַ דאַטן צו אַ דיספּליי, סטרימינג קאַמעראַ דאַטן צו אַ נעץ, און סטאָרינג די קאַמעראַ דאַטן צו files.

סטרימינג קאַמעראַ דאַטן צו אַרויסווייַזן
א גרונטלעכע אנווענדונג פון דעם מולטי-קאמערא סיסטעם איז צו סטרימען די ווידעאס פון אלע קאמעראס צו אן עקראַן פארבונדן צו דער זעלבער SoC. די פאלגענדע איז א GStreamer פּייפּליין ביישפיל.ampדאָס קען זיין אַז מען וועט סטרימען פיר IMX219 צו אַן אַרויסווייַז (די ווידעאָ נאָדע נומערן און v4l-subdev נומערן אין דער פּייפּליין וועלן מסתּמא ענדערן זיך פון ריסטאַרט צו ריסטאַרט).

סטרימינג קאַמעראַ דאַטן דורך עטהערנעט
אנשטאט סטרימען צו אן עקראַן פארבונדן צום זעלבן SoC, קען די קאַמעראַ דאַטן אויך ווערן סטרימט דורך די עטהערנעט. די אויפנעמענדיקע זייט קען זיין אדער אן אנדער AM62A/AM62P פּראַסעסאָר אדער א האָסט פּיסי. די פאלגענדע איז א ביישפּיל.ampדי וועג פון סטרימינג די קאַמעראַ דאַטן דורך די עטהערנעט (ניצנדיק צוויי קאַמעראַס פֿאַר פּשוטקייט) (באַמערקט דעם ענקאָדער פּלוגין געניצט אין דער פּייפּליין):

די פאלגענדע איז אַן עקסampדאָס הייסט, באַקומען די קאַמעראַ דאַטן און סטרימינג צו אַן אַרויסווייַז אויף אַן אַנדער AM62A/AM62P פּראַסעסער:

סטאָרינג קאַמעראַ דאַטן צו Files
אנשטאט סטרימינג צו א דיספלעי אדער דורך א נעץ, קען די קאמערא דאטן ווערן געהאלטן אין לאקאלע fileס. די פּייפּליין אונטן סטאָרירט יעדער קאַמעראַ ס דאַטן צו אַ file (ניצנדיק צוויי קאַמעראַס ווי אַן עקסampלע פֿאַר פּשוטקייט).

מולטיקאַמעראַ טיף לערנען אינפֿערענץ

AM62A איז אויסגעשטאַט מיט אַ טיף לערנען אַקסעלעראַטאָר (C7x-MMA) מיט ביז צוויי TOPS, וואָס זענען טויגעוודיק צו לויפן פֿאַרשידענע טייפּס פון טיף לערנען מאָדעלן פֿאַר קלאַסיפֿיקאַציע, אָביעקט דעטעקציע, סעמאַנטישע סעגמענטאַציע, און מער. די סעקציע ווייזט ווי AM62A קען סיימאַלטייניאַסלי לויפן פיר טיף לערנען מאָדעלן אויף פיר פֿאַרשידענע קאַמעראַ פֿידס.

מאָדעל סעלעקציע
די TI'ס EdgeAI-ModelZoo גיט הונדערטער מאָדערנע מאָדעלן, וועלכע ווערן קאָנווערטירט/עקספּאָרטירט פֿון זייערע אָריגינעלע טרענירונג־פֿרײַמווערקן צו אַן איינגעבעטן־פֿרײַנדלעכן פֿאָרמאַט, כּדי זיי זאָלן קענען ווערן אַראָפּגעלאָדן צום C7x-MMA טיפֿן לערנען־אַקסעלעראַטאָר. דער וואָלקן־באַזירטער Edge AI Studio Model Analyzer גיט אַן גרינג־צו־נוצן "מאָדעל־סעלעקציע"־געצייַג. עס ווערט דינאַמיש דערהייַנטיקט צו אַרייננעמען אַלע מאָדעלן וואָס ווערן געשטיצט אין TI EdgeAI-ModelZoo. דער געצייַג פֿאָדערט נישט קיין פֿריִערדיקע דערפֿאַרונג און גיט אַן גרינג־צו־נוצן־אינטערפֿייס צו אַרײַנגעבן די פֿונקציעס וואָס זענען נויטיק אין דעם געוואונטשענעם מאָדעל.

דער TFL-OD-2000-ssd-mobV1-coco-mlperf איז אויסגעקליבן געוואָרן פֿאַר דעם מולטי-קאַמעראַ טיף לערנען עקספּערימענט. דאָס מולטי-אָביעקט דעטעקציע מאָדעל איז דעוועלאָפּעד אין די TensorFlow פריימווערק מיט אַ 300×300 אינפוט רעזאָלוציע. טאַבעלע 4-1 ווייזט די וויכטיקע פֿעיִקייטן פֿון דעם מאָדעל ווען טרענירט אויף די cCOCO דאַטאַסעט מיט אַרום 80 פֿאַרשידענע קלאַסן.

טאַבעלע 4-1. הויכפּונקטן פֿעיִקייטן פֿון מאָדעל TFL-OD-2000-ssd-mobV1-coco-mlperf.

מאָדעל	אַרבעט	האַכלאָטע	FPS	mAP 50% גענויקייט אויף קאָקאָ	לעטענסי/פֿרэйם (מס)	די.די.אר. שוואַרץ באַניץ (MB/ Frame)
TFL-OD-2000-SSD- מאָבV1-קאָקאָ-מלפּערף	מולטי אָביעקט דעטעקציע	300 × 300	~152	15.9	6.5	18.839

רערנ - ליניע סעטאַפּ
פיגור 4-3 ווייזט די 4-קאַמעראַ טיף לערנען GStreamer פּייפּליין. TI גיט אַ סוויט פון GStreamer plugins וואָס ערלויבן אַראָפּצולאָדן עטלעכע פון די מעדיע פּראַסעסינג און די טיף לערנען אינפֿערענץ צו די האַרדווער אַקסעלעראַטאָרן. עטלעכע למשל.ampפון די plugins אַרייַננעמען tiovxisp, tiovxmultiscaler, tiovxmosaic, און tidlinferer. די פּייפּליין אין פיגור 4-3 כולל אַלע פארלאנגטע plugins פֿאַר אַ מולטיפּאַט GStreamer פּייפּליין פֿאַר 4-קאַמעראַ אינפוטס, יעדער מיט מעדיע פּרעפּראָסעס, טיף לערנען אינפֿערענס, און פּאָסטפּראָסעס. די דופּליקירטע plugins פֿאַר יעדן פון די קאַמעראַ פּאַטס זענען סטאַפּאַלד אין די גראַפיק פֿאַר גרינגער דעמאַנסטריישאַן.
די פאַראַן האַרדווער רעסורסן זענען גלייך פאַרשפּרייט צווישן די פיר קאַמעראַ פּאַטס. למשל, AM62A כּולל צוויי בילד מולטיסקיילערס: MSC0 און MSC1. די פּייפּליין דעדיקירט עקספּליציט MSC0 צו פּראָצעס קאַמעראַ 1 און קאַמעראַ 2 פּאַטס, בשעת MSC1 איז דעדיקירט צו קאַמעראַ 3 און קאַמעראַ 4.

די רעזולטאַטן פון די פיר קאַמעראַ פּייפּליינז ווערן פֿאַרקלענערט און צוזאַמענגעשטעלט מיטן tiovxmosaic פּלוגין. די רעזולטאַטן ווערן געוויזן אויף איין עקראַן. פֿיגור 4-4 ווייזט די רעזולטאַטן פון די פיר קאַמעראַס מיט אַ טיפֿ לערנען מאָדעל וואָס לויפֿט אָביעקט דעטעקציע. יעדע פּייפּליין (קאַמעראַ) לויפֿט ביי 30 FPS און אַ סך הכל פֿון 120 FPS.

ווייטער איז דער פולער פּייפּליין סקריפּט פֿאַר די מולטיקאַמעראַ טיף לערנען נוצן פאַל געוויזן אין פיגור 4-3.

פאָרשטעלונג אַנאַליסיס

די סעטאַפּ מיט פיר קאַמעראַס ניצנדיק די V3Link ברעט און די AM62A SK איז געווען טעסטעד אין פארשידענע אַפּליקאַציע סצענאַריאָס, אַרייַנגערעכנט גלייך ווייַזן אויף אַ פאַרשטעלן, סטרימינג איבער עטהערנעט (פיר UDP טשאַנאַלז), רעקאָרדינג צו 4 באַזונדערע. fileס, און מיט טיפע לערנען אינפערענץ. אין יעדן עקספערימענט, האבן מיר מאָניטאָרירט די ראַם קורס און די נוצן פון CPU קערנס צו אויספאָרשן די גאנצע סיסטעם'ס מעגלעכקייטן.

ווי פריער געוויזן אין פיגור 4-4, ניצט די טיפע לערנינג פּייפּליין דעם טיפּערפאָווערליי GStreamer פּלוגין צו ווייַזן CPU קאָר לאָודז ווי אַ באַר גראַפיק אין די דנאָ פון די פאַרשטעלן. דורך פעליקייַט, ווערט די גראַפיק דערהייַנטיקט יעדע צוויי סעקונדעס צו ווייַזן די לאָודז ווי אַ נוצן פּראָצענט.tagה. אין צוגאב צום טיפּערפאָווערליי דזשיסטרימער פּלוגין, איז דער פּערפֿ_סטאַטס געצייַג אַ צווייטע אָפּציע צו ווייַזן די קאָר פאָרשטעלונג גלייך אויפן טערמינאַל מיט אַן אָפּציע צו שפּאָרן צו אַ fileדאס געצייג איז מער גענוי קאמפערד צו די tTiperfoverlay ווייל די לעצטע לייגט צו עקסטרע לאסט אויף די ARMm קערנס און די DDR צו צייכענען דעם גראף און עס איבערלייגן אויפן עקראן. די perf_stats געצייג ווערט הויפטזעכליך גענוצט צו זאמלען הארדווער באניץ רעזולטאטן אין אלע טעסט פעלער וואס ווערן געוויזן אין דעם דאקומענט. עטלעכע פון די וויכטיגע פראסעסינג קערנס און אַקסעלעראַטאָרן וואס ווערן שטודירט אין די טעסטן שליסן איין די הויפט פראסעסארן (פיר A53 Arm קערנס @ 1.25GHz), דער טיפער לערנען אַקסעלעראַטאָר (C7x-MMA @ 850MHz), די VPAC (ISP) מיט VISS און מולטיסקיילערס (MSC0 און MSC1), און DDR אפעראציעס.

טאַבעלע 5-1 ווײַזט די פאָרשטעלונג און רעסורסן נוצן ווען מען ניצט AM62A מיט פיר קאַמעראַס פֿאַר דריי נוצן קאַסעס, אַרייַנגערעכנט סטרימינג פיר קאַמעראַס צו אַ דיספּליי, סטרימינג איבער עטהערנעט, און רעקאָרדינג צו פיר באַזונדערע. fileס. צוויי טעסטן ווערן דורכגעפירט אין יעדן נוץ-פאל: מיט דער קאמערא אליין און מיט טיפע לערנען אינפערענץ. דערצו, די ערשטע שורה אין טאבעלע 5-1 ווייזט הארדווער באניץ ווען נאר די אפערירן סיסטעם איז געלאפן אויף AM62A אן קיין באניצער אפליקאציעס. דאס ווערט גענוצט אלס א באזע צו פארגלייכן קעגן ווען מען עוואלואירט הארדווער באניץ פון די אנדערע טעסט פעלער. ווי געוויזן אין דער טאבעלע, די פיר קאמעראס מיט טיפע לערנען און סקרין דיספלעי האבן אפערירט ביי 30 FPS יעדע, מיט א סך הכל פון 120 FPS פאר די פיר קאמעראס. די הויכע פריים ראטע ווערט דערגרייכט מיט נאר 86% פון די טיפע לערנען אקסעלעראטאר (C7x-MMA) פולע קאפאציטעט. דערצו, איז וויכטיג צו באמערקן אז דער טיפער לערנען אקסעלעראטאר איז געווען געטאקט ביי 850MHz אנשטאט 1000MHz אין די עקספערימענטן, וואס איז בערך נאר 85% פון זיין מאקסימום פערפארמענס.

טאַבעלע 5-1. פאָרשטעלונג (FPS) און רעסורסן נוצן פון AM62A ווען געניצט מיט 4 IMX219 קאַמעראַס פֿאַר פאַרשטעלן אַרויסווייַזן, עטהערנעט סטרים, רעקאָרד צו Fileס, און דורכפירן טיף לערנען אינפערענסינג

אַפּפּליקאַטיאָן n	רערנליניע (אָפּעראַציע )	רעזולטאַט	FPS דורכשניטלעכע פּייפּליין ס	FPS גאַנץ	MPUs A53s @ 1.25 גיגאהערץ [%]	MCU R5 [%]	דלאַ (C7x- MMA) @ 850 מעגהערץ [%]	וויס [%]	MSC0 [%]	MSC1 [%]	דדר וועג [מעגאבייט/ס]	דדר ווארט [מעגאבייט/ס]	דדר גאַנץ [MB/s]
קיין אַפּ	באַזעליין קיין אָפּעראַציע	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
אַפּאַראַט בלויז	סטרים צו סקרין	סקרין	30	120	12	12	0	70	61	60	1015	757	1782
	סטרים איבער עטערנעט	ודפּ: 4 פּאָרטן 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	רעקאָרד צו files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
קאַם מיט טיפע לערנען	טיף לערנען: אביעקט דעטעקציע מאָבV1- קאָקאָ	סקרין	30	120	38	25	86	71	85	82	2926	1676	4602
	טיף לערנען: אביעקט דעטעקציע מאָבV1- קאָקאָ און סטרים איבער עטהערנעט	ודפּ: 4 פּאָרטן 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	טיף לערנען: אביעקט דעטעקציע מאָבV1- קאָקאָ און רעקאָרד צו files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

קיצער
די אַפּליקאַציע באַריכט באַשרײַבט ווי צו ימפּלעמענטירן מולטי-קאַמעראַ אַפּליקאַציעס אויף די AM6x משפּחה פון דעוויסעס. א רעפֿערענץ פּלאַן באַזירט אויף Arducam'ס V3Link קאַמעראַ לייזונג קיט און AM62A SK EVM ווערט צוגעשטעלט אין דעם באַריכט, מיט עטלעכע קאַמעראַ אַפּליקאַציעס וואָס נוצן פיר IMX219 קאַמעראַס, אַזאַ ווי סטרימינג און אָביעקט דעטעקציע. באַניצער ווערן געמוטיקט צו באַקומען די V3Link קאַמעראַ לייזונג קיט פון Arducam און רעפּליקירן די עקס.ampדער באריכט גיט אויך א דעטאלירטע אנאליז פון די פאָרשטעלונג פון AM62A בשעת מען ניצט פיר קאַמעראַס אונטער פארשידענע קאָנפיגוראַציעס, אַרייַנגערעכנט ווייַזן צו אַ פאַרשטעלן, סטרימינג איבער עטהערנעט, און רעקאָרדינג צו fileעס ווייזט אויך AM62A'ס מעגלעכקייט צו דורכפירן טיפע לערנען אינפערענץ אויף פיר באזונדערע קאמערא סטרימס אין פאראלעל. אויב עס זענען דא פראגעס וועגן לויפן די עקסampלעס, שיקט אריין אן אנפראג ביים TI E2E פארום.

רעפערענצן

AM62A סטאַרטער קיט EVM שנעל אָנהייב גייד
ArduCam V3Link קאַמעראַ לייזונג שנעל אָנהייב גייד
עדזש AI SDK דאָקומענטאַציע פֿאַר AM62A
עדזש AI קלוגע קאַמעראַס ניצן ענערגיע-עפעקטיוו AM62A פּראַסעסער
קאַמעראַ שפּיגל סיסטעמען אויף AM62A
דרייווער און באַזעצן מאָניטאָרינג סיסטעמען אויף AM62A
קוואַד קאַנאַל קאַמעראַ אַפּלאַקיישאַן פֿאַר סעראַונד View און CMS קאַמעראַ סיסטעמען
AM62Ax לינוקס אַקאַדעמיע וועגן אַקטיווירן CIS-2 סענסאָר
עדזש קינסטלעכע אינטעליגענץ מאָדעל זאָאָלאָגיש גאָרטן
עדזש קינסטלעכע אינטעליגענץ סטודיאָ
פּערפֿ_סטאַטס געצייַג

TI טיילן דערמאנט אין דעם אַפּליקאַציע נאטיץ:

וויכטיק אָנזאָג און אָפּלייקענונג

TI פּראָווידעס טעכניש און פאַרלאָזלעך דאַטן (אַרייַנגערעכנט דאַטן שיץ), פּלאַן רעסאָורסעס (אַרייַנגערעכנט רעפערענץ דיזיין), אַפּפּליקאַטיאָן אָדער אנדערע דיזיין עצה, WEB אינטערנעץ, זיכערהייט אינפֿאָרמאַציע, און אנדערע רעסורסן "ווי איז" און מיט אַלע חסרונות, און אָפּזאָגן אַלע וואָראַנטיז, אויסדריקלעך און ימפּלייד, אַרייַנגערעכנט אָן באַגרענעצונג קיין ימפּלייד וואָראַנטיז פון סאַכאַנדעראַביליטי און באַרעכטיקונג. .

די רעסורסן זענען בדעה פֿאַר באָקע דעוועלאָפּערס וואָס פּלאַן מיט TI פּראָדוקטן. איר זענט בלויז פאַראַנטוואָרטלעך פֿאַר

סאַלעקטינג די צונעמען TI פּראָדוקטן פֿאַר דיין אַפּלאַקיישאַן,
דיזיינינג, וואַלאַדייטינג און טעסטינג דיין אַפּלאַקיישאַן, און
זיכער מאַכן אַז אייער אַפּליקאַציע טרעפט די אָנווענדלעכע סטאַנדאַרדן, און אַלע אַנדערע זיכערהייט, זיכערהייט, רעגולאַטאָרישע אָדער אַנדערע רעקווירעמענץ.

די רעסורסן קענען זיך ענדערן אָן באַמערקן. TI ערלויבט אייך צו נוצן די רעסורסן בלויז פֿאַר דער אַנטוויקלונג פֿון אַן אַפּליקאַציע וואָס ניצט די TI פּראָדוקטן וואָס זענען באַשריבן אין דעם רעסורס. אַנדערע רעפּראָדוקציע און אַרויסווייַזונג פֿון די רעסורסן איז פֿאַרווערט. קיין ליצענץ ווערט נישט געגעבן צו קיין אַנדער TI אינטעלעקטואַלן אייגנטום רעכט אָדער צו קיין דריט-פּאַרטיי אינטעלעקטואַלן אייגנטום רעכט. TI אָפּזאָגט זיך פֿון פֿאַראַנטוואָרטלעכקייט פֿאַר, און איר וועט פֿולשטענדיק באַשיצן TI און זיינע פֿאַרטרעטער פֿון, קיין פֿאָדערונגען, שאָדנס, קאָסטן, פֿאַרלוסטן און פֿאַראַנטוואָרטלעכקייטן וואָס שטאַמען פֿון אייער נוצן פֿון די רעסורסן.

TI ס פּראָדוקטן זענען צוגעשטעלט אונטער TI ס תּנאָים פון פאַרקויף אָדער אנדערע אָנווענדלעך טערמינען בנימצא אויף ti.com אָדער צוגעשטעלט אין קאַנדזשאַנגקשאַן מיט אַזאַ טי פּראָדוקטן. TI ס טנייַ פון די רעסורסן קען נישט יקספּאַנד אָדער אַנדערש טוישן TI ס אָנווענדלעך וואָראַנטיז אָדער וואָראַנטי אָפּלייקענונג פֿאַר TI פּראָדוקטן.

TI אַבדזשעקץ צו און פארווארפן קיין נאָך אָדער אַנדערש טערמינען וואָס איר קען האָבן פארגעלייגט.

וויכטיק אָנזאָג

מיילינג אַדרעס: טעקסאַס ינסטרומענץ, פּאָסט אָפפיסע באָקס 655303, Dallas, טעקסאַס 75265

אָפט געשטעלטע פֿראגן

פ: קען איך ניצן יעדן טיפ קאַמעראַ מיט די AM6x משפּחה פון דעוויסעס?

די AM6x משפּחה שטיצט פֿאַרשידענע קאַמעראַ טיפּן, אַרייַנגערעכנט די מיט אָדער אָן אַן איינגעבויטן ISP. זעט די ספּעציפֿיקאַציעס פֿאַר מער פרטים וועגן די געשטיצטע קאַמעראַ טיפּן.

וואָס זענען די הויפּט אונטערשיידן צווישן AM62A און AM62P אין בילד פּראַסעסינג?

די שליסל וועריאציעס שליסן איין געשטיצטע קאמערא טיפן, קאמערא אויסגאבע דאטן, אנוועזנהייט פון ISP HWA, Deep Learning HWA, און 3-D גראַפיקס HWA. זעט די ספּעסיפיקאַציעס סעקציע פֿאַר אַ דעטאַלירטן פאַרגלייַך.

דאָקומענטן / רעסאָורסעס

טעקסאַס אינסטרומענטן AM6x אנטוויקלט קייפל קאַמעראַס [pdfבאַניצער גייד
AM62A, AM62P, AM6x אנטוויקלען קייפל קאַמעראַס, AM6x, אנטוויקלען קייפל קאַמעראַס, קייפל קאַמעראַס, קאַמעראַ

רעפערענצן

באַניצער מאַנואַל

טעקסאס אינסטרומענטן AM6x אנטוויקלט קייפל קאַמעראַס

ספּעסאַפאַקיישאַנז