टेक्सास इन्स्ट्रुमेन्ट्स AM6x ले बहु क्यामेरा प्रयोगकर्ता गाइड विकास गर्दै

सुरक्षा निगरानी: निगरानी कभरेज, वस्तु ट्र्याकिङ, र पहिचान शुद्धता बढाउँछ।
वरिपरि View: अवरोध पत्ता लगाउने र वस्तु हेरफेर जस्ता कार्यहरूको लागि स्टेरियो भिजन सक्षम बनाउँछ।

क्याबिन रेकर्डर र क्यामेरा मिरर प्रणाली: विस्तारित कभरेज प्रदान गर्दछ र ब्लाइन्ड स्पटहरू हटाउँछ।
मेडिकल इमेजिङ: सर्जिकल नेभिगेसन र एन्डोस्कोपीमा बढेको परिशुद्धता प्रदान गर्दछ।

ड्रोन र एरियल इमेजिङ: विभिन्न अनुप्रयोगहरूको लागि विभिन्न कोणबाट उच्च-रिजोल्युसन छविहरू खिच्नुहोस्।

धेरै CSI-2 क्यामेराहरूलाई SoC मा जडान गर्दै:
धेरै CSI-2 क्यामेराहरूलाई SoC मा जडान गर्न, प्रयोगकर्ता पुस्तिकामा दिइएको दिशानिर्देशहरू पालना गर्नुहोस्। SoC मा तोकिएका पोर्टहरूमा प्रत्येक क्यामेराको उचित पङ्क्तिबद्धता र जडान सुनिश्चित गर्नुहोस्।

आवेदन नोट
AM6x मा बहु-क्यामेरा अनुप्रयोगहरू विकास गर्दै

Jianzhong Xu, Qutaiba सालेह

सार
यस रिपोर्टले AM6x उपकरणहरूको परिवारमा धेरै CSI-2 क्यामेराहरू प्रयोग गरेर अनुप्रयोग विकासको वर्णन गर्दछ। AM62A SoC मा ४ क्यामेराहरूमा गहिरो सिकाइको साथ वस्तु पत्ता लगाउने सन्दर्भ डिजाइन प्रदर्शन विश्लेषणको साथ प्रस्तुत गरिएको छ। डिजाइनका सामान्य सिद्धान्तहरू AM62x र AM62P जस्ता CSI-2 इन्टरफेस भएका अन्य SoCहरूमा लागू हुन्छन्।

परिचय

आधुनिक दृष्टि प्रणालीहरूमा इम्बेडेड क्यामेराहरूले महत्त्वपूर्ण भूमिका खेल्छन्। एउटा प्रणालीमा धेरै क्यामेराहरू प्रयोग गर्नाले यी प्रणालीहरूको क्षमताहरू विस्तार हुन्छ र एउटै क्यामेराबाट सम्भव नहुने क्षमताहरूलाई सक्षम बनाउँछ। तल केही उदाहरणहरू दिइएका छन्ampधेरै इम्बेडेड क्यामेराहरू प्रयोग गर्ने केही अनुप्रयोगहरू:

सुरक्षा निगरानी: रणनीतिक रूपमा राखिएका धेरै क्यामेराहरूले व्यापक निगरानी कभरेज प्रदान गर्छन्। तिनीहरूले पानोरामिकलाई सक्षम बनाउँछन् views, ब्लाइन्ड स्पटहरू कम गर्ने, र वस्तु ट्र्याकिङ र पहिचानको शुद्धता बढाउने, समग्र सुरक्षा उपायहरूमा सुधार गर्ने।
वरिपरि View: स्टेरियो भिजन सेटअप सिर्जना गर्न धेरै क्यामेराहरू प्रयोग गरिन्छ, जसले त्रि-आयामिक जानकारी र गहिराइको अनुमान सक्षम बनाउँछ। यो स्वायत्त सवारी साधनहरूमा अवरोध पत्ता लगाउने, रोबोटिक्समा सटीक वस्तु हेरफेर, र संवर्धित वास्तविकता अनुभवहरूको परिष्कृत यथार्थवाद जस्ता कार्यहरूको लागि महत्त्वपूर्ण छ।

केबिन रेकर्डर र क्यामेरा मिरर प्रणाली: धेरै क्यामेराहरू भएको कार क्याबिन रेकर्डरले एउटै प्रोसेसर प्रयोग गरेर बढी कभरेज प्रदान गर्न सक्छ। त्यस्तै गरी, दुई वा बढी क्यामेराहरू भएको क्यामेरा मिरर प्रणालीले चालकको क्षेत्र विस्तार गर्न सक्छ। view र कारको सबै छेउबाट ब्लाइन्ड स्पटहरू हटाउनुहोस्।
मेडिकल इमेजिङ: सर्जिकल नेभिगेसन जस्ता कार्यहरूको लागि मेडिकल इमेजिङमा धेरै क्यामेराहरू प्रयोग गर्न सकिन्छ, जसले सर्जनहरूलाई परिशुद्धता बढाउनको लागि धेरै दृष्टिकोणहरू प्रदान गर्दछ। एन्डोस्कोपीमा, धेरै क्यामेराहरूले आन्तरिक अंगहरूको गहन जाँच सक्षम बनाउँछन्।

ड्रोन र एरियल इमेजिङ: ड्रोनहरूमा प्रायः विभिन्न कोणबाट उच्च-रिजोल्युसन छविहरू वा भिडियोहरू खिच्न धेरै क्यामेराहरू हुन्छन्। यो हवाई फोटोग्राफी, कृषि अनुगमन, र भूमि सर्वेक्षण जस्ता अनुप्रयोगहरूमा उपयोगी छ।
माइक्रोप्रोसेसरहरूको प्रगतिसँगै, धेरै क्यामेराहरूलाई एउटै सिस्टम-अन-चिपमा एकीकृत गर्न सकिन्छ।
(SoC) कम्प्याक्ट र कुशल समाधान प्रदान गर्न। उच्च-प्रदर्शन भिडियो/दृष्टि प्रशोधन र गहिरो सिकाइ प्रवेगको साथ AM62Ax SoC, माथि उल्लेखित प्रयोगका केसहरूको लागि एक आदर्श उपकरण हो। अर्को AM6x उपकरण, AM62P, उच्च-प्रदर्शन एम्बेडेड 3D डिस्प्ले अनुप्रयोगहरूको लागि बनाइएको हो। 3D ग्राफिक्स प्रवेगले सुसज्जित, AM62P ले धेरै क्यामेराहरूबाट छविहरू सजिलैसँग टाँस्न सक्छ र उच्च-रिजोल्युसन प्यानोरामिक उत्पादन गर्न सक्छ। view। AM62A/AM62P SoC का नवीन सुविधाहरू विभिन्न प्रकाशनहरूमा प्रस्तुत गरिएका छन्, जस्तै [4], [5], [6], आदि। यो आवेदन नोटले ती सुविधाहरूको विवरणहरू दोहोर्याउने छैन तर यसको सट्टा AM2A/AM62P मा एम्बेडेड भिजन अनुप्रयोगहरूमा धेरै CSI-62 क्यामेराहरू एकीकृत गर्नमा केन्द्रित छ।

तालिका १-१ ले छवि प्रशोधनको सन्दर्भमा AM1A र AM1P बीचको मुख्य भिन्नताहरू देखाउँछ।

तालिका १-१। छवि प्रशोधनमा AM1A र AM1P बीचको भिन्नता

SoC	AM62A	AM62P
समर्थित क्यामेरा प्रकार	बिल्ट-इन ISP भएको वा नभएको	बिल्ट-इन ISP सँग
क्यामेरा आउटपुट डेटा	कच्चा/YUV/RGB	YUV/RGB
ISP HWA	हो	छैन
गहिरो सिकाइ HWA	हो	छैन
३-डी ग्राफिक्स HWA	छैन	हो

धेरै CSI-2 क्यामेराहरूलाई SoC मा जडान गर्दै
AM6x SoC मा रहेको क्यामेरा सबसिस्टममा निम्न कम्पोनेन्टहरू छन्, जुन चित्र २-१ मा देखाइएको छ:

MIPI D-PHY रिसीभर: बाह्य क्यामेराहरूबाट भिडियो स्ट्रिमहरू प्राप्त गर्दछ, ४ लेनहरूको लागि प्रति डाटा लेन १.५ Gbps सम्म समर्थन गर्दछ।

CSI-2 रिसीभर (RX): D-PHY रिसीभरबाट भिडियो स्ट्रिमहरू प्राप्त गर्दछ र स्ट्रिमहरूलाई सिधै ISP मा पठाउँछ वा डेटा DDR मेमोरीमा डम्प गर्दछ। यो मोड्युलले १६ भर्चुअल च्यानलहरू सम्म समर्थन गर्दछ।
SHIM: एउटा DMA र्‍यापर जसले क्याप्चर गरिएका स्ट्रिमहरूलाई DMA मार्फत मेमोरीमा पठाउन सक्षम बनाउँछ। यो र्‍यापरद्वारा धेरै DMA सन्दर्भहरू सिर्जना गर्न सकिन्छ, प्रत्येक सन्दर्भ CSI-2 रिसीभरको भर्चुअल च्यानलसँग मेल खान्छ।

SoC मा एउटा मात्र CSI-2 RX इन्टरफेस भएता पनि, CSI-2 RX को भर्चुअल च्यानलहरूको प्रयोग मार्फत AM6x मा धेरै क्यामेराहरू समर्थित गर्न सकिन्छ। धेरै क्यामेरा स्ट्रिमहरू संयोजन गर्न र तिनीहरूलाई एकल SoC मा पठाउन बाह्य CSI-2 एग्रीगेटिङ कम्पोनेन्ट आवश्यक पर्दछ। दुई प्रकारका CSI-2 एग्रीगेटिङ समाधानहरू प्रयोग गर्न सकिन्छ, जुन निम्न खण्डहरूमा वर्णन गरिएको छ।

SerDes प्रयोग गर्दै CSI-2 एग्रीगेटर
धेरै क्यामेरा स्ट्रिमहरू संयोजन गर्ने एउटा तरिका भनेको सिरियलाइजिंग र डिसेरियलाइजिंग (SerDes) समाधान प्रयोग गर्नु हो। प्रत्येक क्यामेराबाट CSI-2 डेटा सिरियलाइजरद्वारा रूपान्तरण गरिन्छ र केबल मार्फत स्थानान्तरण गरिन्छ। डिसेरियलाइजरले केबलहरूबाट स्थानान्तरण गरिएका सबै सिरियलाइज्ड डेटा प्राप्त गर्दछ (प्रति क्यामेरा एक केबल), स्ट्रिमहरूलाई CSI-2 डेटामा रूपान्तरण गर्दछ, र त्यसपछि SoC मा एकल CSI-2 RX इन्टरफेसमा इन्टरलिभ गरिएको CSI-2 स्ट्रिम पठाउँछ। प्रत्येक क्यामेरा स्ट्रिमलाई एक अद्वितीय भर्चुअल च्यानलद्वारा पहिचान गरिन्छ। यो समग्र समाधानले क्यामेराबाट SoC मा १५ मिटरसम्मको लामो दूरीको जडानलाई अनुमति दिने अतिरिक्त लाभ प्रदान गर्दछ।

AM3x Linux SDK मा समर्थित FPD-Link वा V6-Link serializers र deserializers (SerDes) यस प्रकारको CSI-2 समग्र समाधानको लागि सबैभन्दा लोकप्रिय प्रविधिहरू हुन्। FPD-Link र V3-Link deserializers दुवैमा ब्याक च्यानलहरू छन् जुन [7] मा व्याख्या गरिए अनुसार सबै क्यामेराहरूलाई सिङ्क्रोनाइज गर्न फ्रेम सिङ्क सिग्नलहरू पठाउन प्रयोग गर्न सकिन्छ।
चित्र ३-१ ले पूर्व देखाउँछampएउटै AM6x SoC मा धेरै क्यामेराहरू जडान गर्न SerDes प्रयोग गर्ने तरिका।

एक पूर्वampयस समग्र समाधानको बारेमा जानकारी Arducam V3Link क्यामेरा समाधान किटमा पाउन सकिन्छ। यो किटमा डिसेरियलाइजर हब छ जसले ४ CSI-2 क्यामेरा स्ट्रिमहरू, साथै ४ जोडी V3link सिरियलाइजरहरू र IMX219 क्यामेराहरू, जसमा FAKRA कोएक्सियल केबलहरू र २२-पिन FPC केबलहरू समावेश छन्, लाई एकत्रित गर्दछ। पछि छलफल गरिएको सन्दर्भ डिजाइन यस किटमा बनाइएको हो।

SerDes प्रयोग नगरी CSI-2 एग्रीगेटर
यस प्रकारको एग्रीगेटरले धेरै MIPI CSI-2 क्यामेराहरूसँग प्रत्यक्ष रूपमा इन्टरफेस गर्न सक्छ र सबै क्यामेराहरूबाट डेटालाई एकल CSI-2 आउटपुट स्ट्रिममा एकत्रित गर्न सक्छ।

चित्र ३-१ ले पूर्व देखाउँछampयस्तो प्रणालीको le। यस प्रकारको एग्रीगेटिङ समाधानले कुनै पनि सिरियलाइजर/डिसेरियलाइजर प्रयोग गर्दैन तर CSI-2 डेटा स्थानान्तरणको अधिकतम दूरी द्वारा सीमित छ, जुन 30cm सम्म छ। AM6x Linux SDK ले यस प्रकारको CSI-2 एग्रीगेटरलाई समर्थन गर्दैन।

सफ्टवेयरमा धेरै क्यामेराहरू सक्षम पार्दै

क्यामेरा सबसिस्टम सफ्टवेयर आर्किटेक्चर
चित्र ३-१ ले AM3A/AM1P Linux SDK मा क्यामेरा क्याप्चर प्रणाली सफ्टवेयरको उच्च-स्तरीय ब्लक रेखाचित्र देखाउँछ, जुन चित्र २-२ मा HW प्रणालीसँग मेल खान्छ।

यो सफ्टवेयर आर्किटेक्चरले SoC लाई SerDes को प्रयोग गरेर धेरै क्यामेरा स्ट्रिमहरू प्राप्त गर्न सक्षम बनाउँछ, जुन चित्र २-२ मा देखाइएको छ। FPD-Link/V2-Link SerDes ले प्रत्येक क्यामेरालाई एक अद्वितीय I2C ठेगाना र भर्चुअल च्यानल तोक्छ। प्रत्येक क्यामेराको लागि अद्वितीय I3C ठेगानाको साथ एक अद्वितीय उपकरण ट्री ओभरले सिर्जना गर्नुपर्छ। CSI-2 RX ड्राइभरले अद्वितीय भर्चुअल च्यानल नम्बर प्रयोग गरेर प्रत्येक क्यामेरालाई पहिचान गर्छ र प्रति क्यामेरा स्ट्रिम DMA सन्दर्भ सिर्जना गर्छ। प्रत्येक DMA सन्दर्भको लागि भिडियो नोड सिर्जना गरिन्छ। त्यसपछि प्रत्येक क्यामेराबाट डेटा प्राप्त गरिन्छ र DMA प्रयोग गरेर मेमोरीमा तदनुसार भण्डारण गरिन्छ। प्रयोगकर्ता स्पेस अनुप्रयोगहरूले क्यामेरा डेटा पहुँच गर्न प्रत्येक क्यामेरासँग सम्बन्धित भिडियो नोडहरू प्रयोग गर्छन्। पूर्वampयस सफ्टवेयर वास्तुकलाको प्रयोगको बारेमा जानकारी अध्याय ४ - सन्दर्भ डिजाइनमा दिइएको छ।
V4L2 फ्रेमवर्कसँग मिल्ने कुनै पनि विशिष्ट सेन्सर ड्राइभरले यस आर्किटेक्चरमा प्लग र प्ले गर्न सक्छ। Linux SDK मा नयाँ सेन्सर ड्राइभर कसरी एकीकृत गर्ने भन्ने बारे [8] हेर्नुहोस्।

छवि पाइपलाइन सफ्टवेयर आर्किटेक्चर

AM6x Linux SDK ले GStreamer (GST) फ्रेमवर्क प्रदान गर्दछ, जुन विभिन्न अनुप्रयोगहरूको लागि छवि प्रशोधन घटकहरू एकीकृत गर्न सेवा क्षेत्रमा प्रयोग गर्न सकिन्छ। SoC मा हार्डवेयर एक्सेलेरेटरहरू (HWA), जस्तै भिजन प्रि-प्रोसेसिङ एक्सेलेरेटर (VPAC) वा ISP, भिडियो एन्कोडर/डिकोडर, र गहिरो सिकाइ कम्प्युट इन्जिन, GST मार्फत पहुँच गरिन्छ। plugins। VPAC (ISP) मा नै धेरै ब्लकहरू छन्, जसमा भिजन इमेजिङ सब-सिस्टम (VISS), लेन्स डिस्टोर्शन करेक्शन (LDC), र मल्टिस्केलर (MSC) समावेश छन्, प्रत्येक GST प्लगइनसँग सम्बन्धित छन्।

चित्र ३-२ ले क्यामेराबाट एन्कोडिङ वा गहिरो सम्मको विशिष्ट छवि पाइपलाइनको ब्लक रेखाचित्र देखाउँछ।
AM62A मा सिकाइ अनुप्रयोगहरू। एन्ड-टु-एन्ड डेटा प्रवाहको बारेमा थप विवरणहरूको लागि, EdgeAI SDK कागजातहरू हेर्नुहोस्।

AM62P को लागि, छवि पाइपलाइन सरल छ किनभने AM62P मा कुनै ISP छैन।

प्रत्येक क्यामेराको लागि सिर्जना गरिएको भिडियो नोडको साथ, GStreamer-आधारित छवि पाइपलाइनले एकै साथ धेरै क्यामेरा इनपुटहरू (एउटै CSI-2 RX इन्टरफेस मार्फत जडान गरिएको) को प्रशोधन गर्न अनुमति दिन्छ। बहु-क्यामेरा अनुप्रयोगहरूको लागि GStreamer प्रयोग गर्ने सन्दर्भ डिजाइन अर्को अध्यायमा दिइएको छ।

सन्दर्भ डिजाइन

यस अध्यायले AM62A EVM मा बहु-क्यामेरा अनुप्रयोगहरू चलाउने, Arducam V3Link क्यामेरा समाधान किट प्रयोग गरेर AM4A मा ४ CSI-2 क्यामेराहरू जडान गर्ने र सबै ४ क्यामेराहरूको लागि वस्तु पत्ता लगाउने चलाउने सन्दर्भ डिजाइन प्रस्तुत गर्दछ।

समर्थित क्यामेरा
Arducam V3Link किटले FPD-Link/V3-Link-आधारित क्यामेराहरू र Raspberry Pi-कम्प्याटिबल CSI-2 क्यामेराहरू दुवैसँग काम गर्छ। निम्न क्यामेराहरू परीक्षण गरिएका छन्:

D3 इन्जिनियरिङ D3RCM-IMX390-953
चितुवा इमेजिङ LI-OV2312-FPDLINKIII-110H

Arducam V3Link क्यामेरा समाधान किटमा IMX219 क्यामेराहरू

चार IMX219 क्यामेराहरू सेटअप गर्दै
V3Link किट मार्फत AM62A SK मा क्यामेराहरू जडान गर्न SK-AM62A-LP EVM (AM62A SK) र ArduCam V3Link क्यामेरा समाधान द्रुत सुरुवात गाइड सेटअप गर्न AM62A स्टार्टर किट EVM द्रुत सुरुवात गाइडमा दिइएको निर्देशनहरू पालना गर्नुहोस्। फ्लेक्स केबलहरू, क्यामेराहरू, V3Link बोर्ड, र AM62A SK मा रहेका पिनहरू सबै राम्ररी पङ्क्तिबद्ध छन् भनी सुनिश्चित गर्नुहोस्।

चित्र ४-१ ले यस रिपोर्टमा सन्दर्भ डिजाइनको लागि प्रयोग गरिएको सेटअप देखाउँछ। सेटअपमा मुख्य घटकहरू समावेश छन्:

१X SK-AM62A-LP EVM बोर्ड
१X Arducam V3Link d-ch एडाप्टर बोर्ड
Arducam V3Link लाई SK-AM62A मा जडान गर्ने FPC केबल

४X V3Link क्यामेरा एडेप्टरहरू (सिरियलाइजरहरू)
V3Link सिरियलाइजरहरूलाई V3Link d-ch किटमा जडान गर्न ४X RF कोएक्सियल केबलहरू
४X IMX219 क्यामेराहरू

क्यामेराहरूलाई सिरियलाइजरहरूमा जडान गर्न ४X CSI-२ २२-पिन केबलहरू
केबलहरू: HDMI केबल, SK-AM62A-LP लाई पावर गर्न USB-C र V3Link d-ch किटको लागि १२V पावर स्रोत)
चित्र ४-१ मा नदेखाइएका अन्य कम्पोनेन्टहरू: माइक्रो-एसडी कार्ड, SK-AM62A-LP पहुँच गर्न माइक्रो-USB केबल, र स्ट्रिमिङको लागि इथरनेट

क्यामेरा र CSI-2 RX इन्टरफेस कन्फिगर गर्दै
Arducam V3Link Quick Start Guide मा दिइएको निर्देशन अनुसार सफ्टवेयर सेटअप गर्नुहोस्। क्यामेरा सेटअप स्क्रिप्ट चलाएपछि, setup-imx219.sh, क्यामेराको ढाँचा, CSI-2 RX इन्टरफेस ढाँचा, र प्रत्येक क्यामेराबाट सम्बन्धित भिडियो नोडमा जाने मार्गहरू राम्ररी कन्फिगर गरिनेछ। चार IMX219 क्यामेराहरूको लागि चार भिडियो नोडहरू सिर्जना गरिएका छन्। “v4l2-ctl –list-devices” आदेशले तल देखाइए अनुसार सबै V4L2 भिडियो उपकरणहरू प्रदर्शन गर्दछ:

tiscsi2rx अन्तर्गत ६ वटा भिडियो नोडहरू र १ मिडिया नोड छन्। प्रत्येक भिडियो नोड CSI2 RX ड्राइभरद्वारा आवंटित DMA सन्दर्भसँग मेल खान्छ। ६ वटा भिडियो नोडहरू मध्ये, ४ वटा IMX219 क्यामेराहरूको लागि प्रयोग गरिन्छ, जुन तलको मिडिया पाइप टोपोलोजीमा देखाइएको छ:

माथि देखाइएझैं, मिडिया एन्टिटी 30102000.tici2rx मा 6 वटा स्रोत प्याडहरू छन्, तर पहिलो 4 वटा मात्र प्रयोग गरिन्छ, प्रत्येक एक IMX219 को लागि। मिडिया पाइप टोपोलोजीलाई ग्राफिक रूपमा पनि चित्रण गर्न सकिन्छ। डट उत्पन्न गर्न निम्न आदेश चलाउनुहोस्। file:

त्यसपछि PNG उत्पन्न गर्न लिनक्स होस्ट पीसीमा तलको आदेश चलाउनुहोस्। file:

चित्र ४-२ माथि दिइएका आदेशहरू प्रयोग गरेर उत्पन्न गरिएको तस्वीर हो। चित्र ३-१ को सफ्टवेयर आर्किटेक्चरमा रहेका घटकहरू यस ग्राफमा फेला पार्न सकिन्छ।

चार क्यामेराबाट स्ट्रिमिङ
हार्डवेयर र सफ्टवेयर दुवै राम्ररी सेटअप भएको अवस्थामा, बहु-क्यामेरा अनुप्रयोगहरू प्रयोगकर्ता ठाउँबाट चल्न सक्छन्। AM62A को लागि, राम्रो छवि गुणस्तर उत्पादन गर्न ISP ट्युन गरिएको हुनुपर्छ। ISP ट्युनिङ कसरी गर्ने भनेर AM6xA ISP ट्युनिङ गाइड हेर्नुहोस्। निम्न खण्डहरूले उदाहरण प्रस्तुत गर्दछन्ampक्यामेरा डेटा डिस्प्लेमा स्ट्रिम गर्ने, क्यामेरा डेटा नेटवर्कमा स्ट्रिम गर्ने, र क्यामेरा डेटा भण्डारण गर्ने तरिकाहरू files.

प्रदर्शन गर्न क्यामेरा डेटा स्ट्रिम गर्दै
यस बहु-क्यामेरा प्रणालीको आधारभूत प्रयोग भनेको सबै क्यामेराहरूबाट भिडियोहरू एउटै SoC मा जडान गरिएको डिस्प्लेमा स्ट्रिम गर्नु हो। निम्न GStreamer पाइपलाइन पूर्व होampडिस्प्लेमा चार IMX219 स्ट्रिम गर्ने (पाइपलाइनमा रहेका भिडियो नोड नम्बरहरू र v4l-subdev नम्बरहरू सम्भवतः रिबुटबाट रिबुटमा परिवर्तन हुनेछन्)।

इथरनेट मार्फत क्यामेरा डेटा स्ट्रिम गर्दै
एउटै SoC मा जडान गरिएको डिस्प्लेमा स्ट्रिम गर्नुको सट्टा, क्यामेरा डेटा इथरनेट मार्फत पनि स्ट्रिम गर्न सकिन्छ। प्राप्त गर्ने पक्ष अर्को AM62A/AM62P प्रोसेसर वा होस्ट पीसी हुन सक्छ। निम्न उदाहरण होampइथरनेट मार्फत क्यामेरा डेटा स्ट्रिम गर्ने तरिका (सरलताको लागि दुई क्यामेरा प्रयोग गरेर) (पाइपलाइनमा प्रयोग गरिएको एन्कोडर प्लगइनलाई ध्यान दिनुहोस्):

निम्न एक पूर्व होampक्यामेरा डेटा प्राप्त गर्ने र अर्को AM62A/AM62P प्रोसेसरमा डिस्प्लेमा स्ट्रिम गर्ने तरिका:

क्यामेरा डेटा भण्डारण गर्दै Files
डिस्प्लेमा वा नेटवर्क मार्फत स्ट्रिम गर्नुको सट्टा, क्यामेरा डेटा स्थानीयमा भण्डारण गर्न सकिन्छ files. तलको पाइपलाइनले प्रत्येक क्यामेराको डेटा a मा भण्डारण गर्दछ file (दुई क्यामेरालाई पूर्वको रूपमा प्रयोग गर्दै)ampसरलताको लागि le)।

मल्टीक्यामेरा गहिरो सिकाइ अनुमान

AM62A मा दुई TOPS सम्मको गहिरो सिकाइ एक्सेलेरेटर (C7x-MMA) जडान गरिएको छ, जुन वर्गीकरण, वस्तु पत्ता लगाउने, अर्थ विभाजन, र थपका लागि विभिन्न प्रकारका गहिरो सिकाइ मोडेलहरू चलाउन सक्षम छन्। यो खण्डले AM62A ले कसरी चार फरक क्यामेरा फिडहरूमा एकैसाथ चार गहिरो सिकाइ मोडेलहरू चलाउन सक्छ भनेर देखाउँछ।

मोडेल चयन
TI को EdgeAI-ModelZoo ले सयौं अत्याधुनिक मोडेलहरू प्रदान गर्दछ, जुन तिनीहरूको मूल प्रशिक्षण फ्रेमवर्कबाट एनिमेटेड-मैत्री ढाँचामा रूपान्तरण/निर्यात गरिन्छ ताकि तिनीहरूलाई C7x-MMA गहिरो सिकाइ एक्सेलेरेटरमा अफलोड गर्न सकियोस्। क्लाउड-आधारित Edge AI स्टुडियो मोडेल विश्लेषकले प्रयोग गर्न सजिलो "मोडेल चयन" उपकरण प्रदान गर्दछ। TI EdgeAI-ModelZoo मा समर्थित सबै मोडेलहरू समावेश गर्न यसलाई गतिशील रूपमा अद्यावधिक गरिएको छ। उपकरणलाई कुनै पूर्व अनुभव आवश्यक पर्दैन र इच्छित मोडेलमा आवश्यक सुविधाहरू प्रविष्ट गर्न प्रयोग गर्न सजिलो इन्टरफेस प्रदान गर्दछ।

यस बहु-क्यामेरा गहिरो सिकाइ प्रयोगको लागि TFL-OD-2000-ssd-mobV1-coco-mlperf चयन गरिएको थियो। यो बहु-वस्तु पत्ता लगाउने मोडेल टेन्सरफ्लो फ्रेमवर्कमा ३००×३०० इनपुट रिजोल्युसनको साथ विकसित गरिएको छ। तालिका ४-१ ले लगभग ८० विभिन्न वर्गहरू भएको cCOCO डेटासेटमा प्रशिक्षित हुँदा यस मोडेलको महत्त्वपूर्ण विशेषताहरू देखाउँछ।

तालिका ४-१। मोडेल TFL-OD-4-ssd-mobV1-coco-mlperf का विशेषताहरू हाइलाइट गर्नुहोस्।

मोडेल	कार्य	संकल्प	FPS	म्याप ५०% COCO मा शुद्धता	विलम्बता/फ्रेम (मिलिसेकेन्ड)	DDR BW उपयोगिता (एमबी/फ्रेम)
TFL-OD-2000-ssd- को लागि सोधपुछ पेश गर्नुहोस्। mobV1-coco-ml प्रतिफल	बहु वस्तु पत्ता लगाउने	६४०×५१२	~152	15.9	6.5	18.839

पाइपलाइन सेटअप
चित्र ४-३ ले ४-क्यामेरा गहिरो सिकाइ GStreamer पाइपलाइन देखाउँछ। TI ले GStreamer को एक सुइट प्रदान गर्दछ। plugins जसले केही मिडिया प्रशोधन र हार्डवेयर एक्सेलेरेटरहरूमा गहिरो सिकाइ अनुमान अफलोड गर्न अनुमति दिन्छ। केही पूर्वampयी मध्ये plugins tiovxisp, tiovxmultiscaler, tiovxmosaic, र tidlinferer समावेश गर्दछ। चित्र ४-३ मा रहेको पाइपलाइनमा सबै आवश्यक समावेश छन् plugins ४-क्यामेरा इनपुटहरूको लागि बहुमार्गी GStreamer पाइपलाइनको लागि, प्रत्येक मिडिया प्रिप्रोसेस, गहिरो सिकाइ अनुमान, र पोस्टप्रोसेसको साथ। डुप्लिकेट गरिएको plugins सजिलो प्रदर्शनको लागि प्रत्येक क्यामेरा मार्गहरू ग्राफमा स्ट्याक गरिएका छन्।
उपलब्ध हार्डवेयर स्रोतहरू चार क्यामेरा मार्गहरूमा समान रूपमा वितरित छन्। उदाहरणका लागि, AM62A मा दुई छवि मल्टिस्केलरहरू छन्: MSC0 र MSC1। पाइपलाइनले स्पष्ट रूपमा MSC0 लाई क्यामेरा १ र क्यामेरा २ मार्गहरू प्रशोधन गर्न समर्पित गर्दछ, जबकि MSC1 क्यामेरा ३ र क्यामेरा ४ लाई समर्पित छ।

चार क्यामेरा पाइपलाइनहरूको आउटपुटलाई tiovxmosaic प्लगइन प्रयोग गरेर एकसाथ स्केल गरिएको छ र जोडिएको छ। आउटपुट एकल स्क्रिनमा प्रदर्शित हुन्छ। चित्र ४-४ ले चार क्यामेराहरूको आउटपुट देखाउँछ जुन गहिरो सिकाइ मोडेल चलिरहेको वस्तु पत्ता लगाउने क्षमताको साथ छ। प्रत्येक पाइपलाइन (क्यामेरा) ३० FPS मा चलिरहेको छ र कुल १२० FPS छ।

अर्को चित्र ४-३ मा देखाइएको मल्टीक्यामेरा गहिरो सिकाइ प्रयोग केसको लागि पूर्ण पाइपलाइन स्क्रिप्ट छ।

कार्यसम्पादन विश्लेषण

V3Link बोर्ड र AM62A SK प्रयोग गरेर चार क्यामेराहरू भएको सेटअपलाई विभिन्न अनुप्रयोग परिदृश्यहरूमा परीक्षण गरिएको थियो, जसमा स्क्रिनमा सिधै प्रदर्शन गर्ने, इथरनेटमा स्ट्रिम गर्ने (चार UDP च्यानलहरू), ४ अलग-अलगमा रेकर्ड गर्ने जस्ता समावेश छन्। files, र गहिरो सिकाइ अनुमानको साथ। प्रत्येक प्रयोगमा, हामीले सम्पूर्ण प्रणालीको क्षमताहरू अन्वेषण गर्न फ्रेम दर र CPU कोरहरूको उपयोगको अनुगमन गर्यौं।

चित्र ४-४ मा पहिले देखाइएझैं, गहिरो सिकाइ पाइपलाइनले स्क्रिनको तल बार ग्राफको रूपमा CPU कोर लोडहरू देखाउन टिपरफोभरले GStreamer प्लगइन प्रयोग गर्दछ। पूर्वनिर्धारित रूपमा, ग्राफ प्रत्येक दुई सेकेन्डमा अद्यावधिक गरिन्छ लोडहरूलाई उपयोगिता प्रतिशतको रूपमा देखाउन।tage. tiperfoverlay GStreamer प्लगइनको अतिरिक्त, perf_stats उपकरण टर्मिनलमा सिधै कोर कार्यसम्पादन देखाउने दोस्रो विकल्प हो जसमा बचत गर्ने विकल्प छ। file। यो उपकरण tTiperfoverlay को तुलनामा बढी सटीक छ किनकि पछिल्लोले ARMm कोर र DDR मा ग्राफ कोर्न र स्क्रिनमा ओभरले गर्न अतिरिक्त भार थप्छ। perf_stats उपकरण मुख्यतया यस कागजातमा देखाइएका सबै परीक्षण केसहरूमा हार्डवेयर उपयोग परिणामहरू सङ्कलन गर्न प्रयोग गरिन्छ। यी परीक्षणहरूमा अध्ययन गरिएका केही महत्त्वपूर्ण प्रशोधन कोर र एक्सेलेरेटरहरूमा मुख्य प्रोसेसरहरू (चार A53 आर्म कोर @ 1.25GHz), गहिरो सिकाइ एक्सेलेरेटर (C7x-MMA @ 850MHz), VISS र मल्टिस्केलरहरू (MSC0 र MSC1) भएको VPAC (ISP), र DDR सञ्चालनहरू समावेश छन्।

तालिका ५-१ ले AM62A लाई तीनवटा प्रयोगका लागि चार क्यामेराहरू प्रयोग गर्दा प्रदर्शन र स्रोत उपयोग देखाउँछ, जसमा चार क्यामेराहरूलाई डिस्प्लेमा स्ट्रिम गर्ने, इथरनेटमा स्ट्रिम गर्ने, र चार अलग-अलगमा रेकर्ड गर्ने समावेश छ। files. प्रत्येक प्रयोगको अवस्थामा दुई परीक्षणहरू लागू गरिन्छ: क्यामेराको साथ मात्र र गहिरो सिकाइ अनुमानको साथ। थप रूपमा, तालिका ५-१ मा पहिलो पङ्क्तिले कुनै पनि प्रयोगकर्ता अनुप्रयोगहरू बिना AM62A मा अपरेटिङ सिस्टम मात्र चलिरहेको बेला हार्डवेयर उपयोगिताहरू देखाउँछ। अन्य परीक्षण केसहरूको हार्डवेयर उपयोगिताहरूको मूल्याङ्कन गर्दा तुलना गर्न यो आधारभूत रूपमा प्रयोग गरिन्छ। तालिकामा देखाइए अनुसार, गहिरो सिकाइ र स्क्रिन डिस्प्ले भएका चार क्यामेराहरू प्रत्येक ३० FPS मा सञ्चालन भए, चार क्यामेराहरूको लागि कुल १२० FPS। यो उच्च फ्रेम दर गहिरो सिकाइ एक्सेलेरेटर (C7x-MMA) पूर्ण क्षमताको केवल ८६% सँग प्राप्त हुन्छ। थप रूपमा, यो ध्यान दिनु महत्त्वपूर्ण छ कि यी प्रयोगहरूमा गहिरो सिकाइ एक्सेलेरेटर १०००MHz को सट्टा ८५०MHz मा घडी गरिएको थियो, जुन यसको अधिकतम प्रदर्शनको लगभग ८५% मात्र हो।

तालिका ५-१। स्क्रिन डिस्प्ले, इथरनेट स्ट्रिम, रेकर्डको लागि ४ IMX5 क्यामेराहरूसँग प्रयोग गर्दा AM1A को प्रदर्शन (FPS) र स्रोत उपयोग Files, र गहिरो सिकाइ अनुमान प्रदर्शन गर्दै

आवेदन n	पाइपलाइन (सञ्चालन) )	आउटपुट	FPS औसत पाइपलाइन s	FPS कुल	MPUs A53s @ १.२५ GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ ८५० मेगाहर्ज [%]	भिसा [%]	एमएससी० [%]	एमएससी० [%]	DDR रोड [MB/s]	DDR Wr [MB/s]	DDR कुल [MB/s]
कुनै एप छैन	आधाररेखा कुनै सञ्चालन छैन	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
क्यामेरा मात्र	स्ट्रिम स्क्रिनमा	स्क्रिन	30	120	12	12	0	70	61	60	1015	757	1782
	इथरनेट मार्फत स्ट्रिम गर्नुहोस्	UDP: ५९८६७,५९८६८ पोर्टहरू १९२०×१०८०	30	120	23	6	0	70	0	0	2071	1390	3461
	रेकर्ड को files	4 file१९२०×१०८० को दशक	30	120	25	3	0	70	0	0	2100	1403	3503
क्याम गहन सिकाइको साथ	गहन सिकाइ: वस्तु पत्ता लगाउने MobV1- coco	स्क्रिन	30	120	38	25	86	71	85	82	2926	1676	4602
	गहिरो सिकाइ: वस्तु पत्ता लगाउने MobV1- कोको र इथरनेटमा स्ट्रिम	UDP: ५९८६७,५९८६८ पोर्टहरू १९२०×१०८०	28	112	84	20	99	66	65	72	4157	2563	6720
	गहन सिकाइ: वस्तु पत्ता लगाउने MobV1- कोको र रेकर्ड टु files	4 file१९२०×१०८० को दशक	28	112	87	22	98	75	82	61	2024	2458	6482

सारांश
यस अनुप्रयोग रिपोर्टले AM6x उपकरणहरूको परिवारमा बहु-क्यामेरा अनुप्रयोगहरू कसरी लागू गर्ने भनेर वर्णन गर्दछ। रिपोर्टमा Arducam को V3Link क्यामेरा समाधान किट र AM62A SK EVM मा आधारित सन्दर्भ डिजाइन प्रदान गरिएको छ, धेरै क्यामेरा अनुप्रयोगहरूले चार IMX219 क्यामेराहरू प्रयोग गर्दछन्, जस्तै स्ट्रिमिङ र वस्तु पत्ता लगाउने। प्रयोगकर्ताहरूलाई Arducam बाट V3Link क्यामेरा समाधान किट प्राप्त गर्न र यी पूर्व-नक्कल गर्न प्रोत्साहित गरिन्छ।ampप्रतिवेदनले विभिन्न कन्फिगरेसन अन्तर्गत चार क्यामेराहरू प्रयोग गर्दा AM62A को कार्यसम्पादनको विस्तृत विश्लेषण पनि प्रदान गर्दछ, जसमा स्क्रिनमा प्रदर्शन गर्ने, इथरनेटमा स्ट्रिम गर्ने, र रेकर्ड गर्ने समावेश छ। files. यसले AM62A को समानान्तर रूपमा चार अलग क्यामेरा स्ट्रिमहरूमा गहिरो सिकाइ अनुमान प्रदर्शन गर्ने क्षमता पनि देखाउँछ। यदि यी उदाहरणहरू चलाउने बारे कुनै प्रश्नहरू छन् भनेampकृपया, TI E2E फोरममा सोधपुछ पेश गर्नुहोस्।

सन्दर्भहरू

AM62A स्टार्टर किट EVM द्रुत सुरुवात गाइड

ArduCam V3Link क्यामेरा समाधान द्रुत सुरुवात गाइड
AM62A को लागि Edge AI SDK कागजात
ऊर्जा-कुशल AM62A प्रोसेसर प्रयोग गर्ने एज एआई स्मार्ट क्यामेराहरू

AM62A मा क्यामेरा मिरर प्रणालीहरू
AM62A मा चालक र बसोबास अनुगमन प्रणालीहरू
वरपरको लागि क्वाड च्यानल क्यामेरा अनुप्रयोग View र CMS क्यामेरा प्रणालीहरू

CIS-2 सेन्सर सक्षम पार्ने बारेमा AM62Ax लिनक्स एकेडेमी
एज एआई मोडेल चिडियाखाना
एज एआई स्टुडियो

Perf_stats उपकरण

यस आवेदन नोटमा उल्लेख गरिएका TI भागहरू:

https://www.ti.com/product/AM62A7

महत्त्वपूर्ण सूचना र अस्वीकरण

TI ले प्राविधिक र विश्वसनीयता डेटा (डेटा पानाहरू सहित), डिजाइन स्रोतहरू (सन्दर्भ डिजाइनहरू सहित), आवेदन वा अन्य डिजाइन सल्लाहहरू प्रदान गर्दछ, WEB उपकरण, सुरक्षा जानकारी, र अन्य संसाधन र सबै गल्तीलाई "जस्तो छ", र DISCLAIMS सबै वारेन्टीहरू, एक्सप्रेस र बिना सहित निहित, सीमा कुनै MERCHANTABILITY, फिटनेस लागि एक विशेष उद्देश्य वा तेस्रो पार्टी बौद्धिक सम्पदा अधिकारको गैर-उल्लङ्घनको निहित वारेन्टीहरू ।

यी स्रोतहरू TI उत्पादनहरूसँग डिजाइन गर्ने दक्ष विकासकर्ताहरूको लागि हो। तपाईं मात्र जिम्मेवार हुनुहुन्छ

तपाईंको आवेदनको लागि उपयुक्त TI उत्पादनहरू चयन गर्दै,

डिजाइन, प्रमाणीकरण, र तपाइँको आवेदन परीक्षण, र
तपाईंको आवेदनले लागू हुने मापदण्डहरू, र अन्य कुनै पनि सुरक्षा, सुरक्षा, नियामक, वा अन्य आवश्यकताहरू पूरा गर्छ भनी सुनिश्चित गर्दै।

यी स्रोतहरू सूचना बिना परिवर्तनको विषय हुन्। TI ले तपाईंलाई यी स्रोतहरू केवल स्रोतमा वर्णन गरिएका TI उत्पादनहरू प्रयोग गर्ने अनुप्रयोगको विकासको लागि प्रयोग गर्न अनुमति दिन्छ। यी स्रोतहरूको अन्य पुनरुत्पादन र प्रदर्शन निषेध गरिएको छ। कुनै पनि अन्य TI बौद्धिक सम्पत्ति अधिकार वा कुनै तेस्रो पक्ष बौद्धिक सम्पत्ति अधिकारलाई कुनै इजाजतपत्र दिइएको छैन। TI ले यी स्रोतहरूको प्रयोगबाट उत्पन्न हुने कुनै पनि दावी, क्षति, लागत, नोक्सान र दायित्वहरूको लागि जिम्मेवारी अस्वीकार गर्दछ, र तपाईंले TI र यसका प्रतिनिधिहरूलाई पूर्ण रूपमा क्षतिपूर्ति दिनुहुनेछ।

TI का उत्पादनहरू TI को बिक्रीका सर्तहरू वा अन्य लागू सर्तहरूमा उपलब्ध गराइन्छ। ti.com वा त्यस्ता TI उत्पादनहरूसँग संयोजनमा प्रदान गरिएको। यी स्रोतहरूको TI को प्रावधानले TI उत्पादनहरूका लागि TI को लागू हुने वारेन्टी वा वारेन्टी अस्वीकरणहरू विस्तार वा अन्यथा परिवर्तन गर्दैन।

TI ले तपाईंले प्रस्ताव गर्नुभएको कुनै पनि अतिरिक्त वा फरक सर्तहरूमा आपत्ति र अस्वीकार गर्दछ।

महत्त्वपूर्ण सूचना

पत्राचार ठेगाना: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

बारम्बार सोधिने प्रश्नहरू

प्रश्न: के म AM6x उपकरणहरूको परिवारसँग कुनै पनि प्रकारको क्यामेरा प्रयोग गर्न सक्छु?

AM6x परिवारले विभिन्न प्रकारका क्यामेराहरूलाई समर्थन गर्दछ, जसमा बिल्ट-इन ISP भएका वा नभएका क्यामेराहरू पनि समावेश छन्। समर्थित क्यामेरा प्रकारहरूको बारेमा थप विवरणहरूको लागि विशिष्टताहरू हेर्नुहोस्।

: छवि प्रशोधनमा AM62A र AM62P बीचको मुख्य भिन्नताहरू के हुन्?

प्रमुख भिन्नताहरूमा समर्थित क्यामेरा प्रकारहरू, क्यामेरा आउटपुट डेटा, ISP HWA को उपस्थिति, डीप लर्निङ HWA, र 3-D ग्राफिक्स HWA समावेश छन्। विस्तृत तुलनाको लागि विशिष्टता खण्ड हेर्नुहोस्।

कागजातहरू / स्रोतहरू

टेक्सास इन्स्ट्रुमेन्ट्स AM6x ले बहु क्यामेरा विकास गर्दै [pdf] प्रयोगकर्ता गाइड
AM62A, AM62P, AM6x बहु क्यामेरा विकास गर्दै, AM6x, बहु क्यामेरा विकास गर्दै, बहु क्यामेरा, क्यामेरा

सन्दर्भहरू

प्रयोगकर्ता पुस्तिका

टेक्सास इन्स्ट्रुमेन्ट्स AM6x ले धेरै क्यामेराहरू विकास गर्दै

निर्दिष्टीकरणहरू