టెక్సాస్ ఇన్స్ట్రుమెంట్స్ -లోగో

టెక్సాస్ ఇన్‌స్ట్రుమెంట్స్ AM6x బహుళ కెమెరాలను అభివృద్ధి చేస్తోంది

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ప్రొడక్ట్

స్పెసిఫికేషన్లు

  • ఉత్పత్తి పేరు: AM6x పరికరాల కుటుంబం
  • మద్దతు ఉన్న కెమెరా రకం: AM62A (అంతర్నిర్మిత ISP తో లేదా లేకుండా), AM62P (అంతర్నిర్మిత ISP తో)
  • కెమెరా అవుట్‌పుట్ డేటా: AM62A (రా/YUV/RGB), AM62P (YUV/RGB)
  • ISP HWA: AM62A (అవును), AM62P (కాదు)
  • డీప్ లెర్నింగ్ HWA: AM62A (అవును), AM62P (కాదు)
  • 3-D గ్రాఫిక్స్ HWA: AM62A (లేదు), AM62P (అవును)

AM6x లో బహుళ-కెమెరా అప్లికేషన్లకు పరిచయం:

  • ఆధునిక దృష్టి వ్యవస్థలలో ఎంబెడెడ్ కెమెరాలు కీలక పాత్ర పోషిస్తాయి.
  • ఒక వ్యవస్థలో బహుళ కెమెరాలను ఉపయోగించడం వల్ల సామర్థ్యాలు పెరుగుతాయి మరియు ఒకే కెమెరాతో సాధించలేని పనులు సాధ్యమవుతాయి.

బహుళ కెమెరాలను ఉపయోగించే అప్లికేషన్లు:

  • భద్రతా నిఘా: నిఘా కవరేజ్, వస్తువు ట్రాకింగ్ మరియు గుర్తింపు ఖచ్చితత్వాన్ని మెరుగుపరుస్తుంది.
  • చుట్టుముట్టండి View: అడ్డంకి గుర్తింపు మరియు వస్తువు మానిప్యులేషన్ వంటి పనుల కోసం స్టీరియో విజన్‌ను ప్రారంభిస్తుంది.
  • క్యాబిన్ రికార్డర్ మరియు కెమెరా మిర్రర్ సిస్టమ్: విస్తరించిన కవరేజీని అందిస్తుంది మరియు బ్లైండ్ స్పాట్‌లను తొలగిస్తుంది.
  • మెడికల్ ఇమేజింగ్: సర్జికల్ నావిగేషన్ మరియు ఎండోస్కోపీలో మెరుగైన ఖచ్చితత్వాన్ని అందిస్తుంది.
  • డ్రోన్లు మరియు ఏరియల్ ఇమేజింగ్: వివిధ అప్లికేషన్ల కోసం వివిధ కోణాల నుండి అధిక రిజల్యూషన్ చిత్రాలను సంగ్రహించండి.

బహుళ CSI-2 కెమెరాలను SoCకి కనెక్ట్ చేయడం:
బహుళ CSI-2 కెమెరాలను SoCకి కనెక్ట్ చేయడానికి, యూజర్ మాన్యువల్‌లో అందించిన మార్గదర్శకాలను అనుసరించండి. ప్రతి కెమెరాను SoCలోని నియమించబడిన పోర్ట్‌లకు సరైన అమరిక మరియు కనెక్షన్‌ను నిర్ధారించుకోండి.

అప్లికేషన్ నోట్
AM6x లో బహుళ-కెమెరా అప్లికేషన్లను అభివృద్ధి చేయడం

Jianzhong Xu, Qutaiba సలేహ్

వియుక్త
ఈ నివేదిక AM6x కుటుంబ పరికరాలలో బహుళ CSI-2 కెమెరాలను ఉపయోగించి అప్లికేషన్ అభివృద్ధిని వివరిస్తుంది. AM62A SoCలోని 4 కెమెరాలపై లోతైన అభ్యాసంతో ఆబ్జెక్ట్ డిటెక్షన్ యొక్క రిఫరెన్స్ డిజైన్ పనితీరు విశ్లేషణతో ప్రదర్శించబడింది. డిజైన్ యొక్క సాధారణ సూత్రాలు AM62x మరియు AM62P వంటి CSI-2 ఇంటర్‌ఫేస్‌తో ఉన్న ఇతర SoCలకు వర్తిస్తాయి.

పరిచయం

ఆధునిక దృష్టి వ్యవస్థలలో ఎంబెడెడ్ కెమెరాలు ముఖ్యమైన పాత్ర పోషిస్తాయి. ఒక వ్యవస్థలో బహుళ కెమెరాలను ఉపయోగించడం వల్ల ఈ వ్యవస్థల సామర్థ్యాలు విస్తరిస్తాయి మరియు ఒకే కెమెరాతో సాధ్యం కాని సామర్థ్యాలను సాధ్యం చేస్తాయి. క్రింద కొన్ని ఉదాహరణలు ఉన్నాయి.ampబహుళ ఎంబెడెడ్ కెమెరాలను ఉపయోగించే అప్లికేషన్ల సంఖ్య:

  • భద్రతా నిఘా: వ్యూహాత్మకంగా ఉంచబడిన బహుళ కెమెరాలు సమగ్ర నిఘా కవరేజీని అందిస్తాయి. అవి విస్తృత దృశ్యాలను అందిస్తాయి. viewలు, బ్లైండ్ స్పాట్‌లను తగ్గిస్తాయి మరియు ఆబ్జెక్ట్ ట్రాకింగ్ మరియు గుర్తింపు యొక్క ఖచ్చితత్వాన్ని పెంచుతాయి, మొత్తం భద్రతా చర్యలను మెరుగుపరుస్తాయి.
  • చుట్టుముట్టండి View: స్టీరియో విజన్ సెటప్‌ను రూపొందించడానికి బహుళ కెమెరాలు ఉపయోగించబడతాయి, త్రిమితీయ సమాచారం మరియు లోతు అంచనాను అనుమతిస్తుంది. స్వయంప్రతిపత్త వాహనాలలో అడ్డంకి గుర్తింపు, రోబోటిక్స్‌లో ఖచ్చితమైన వస్తువు మానిప్యులేషన్ మరియు ఆగ్మెంటెడ్ రియాలిటీ అనుభవాల యొక్క మెరుగైన వాస్తవికత వంటి పనులకు ఇది చాలా కీలకం.
  • క్యాబిన్ రికార్డర్ మరియు కెమెరా మిర్రర్ సిస్టమ్: బహుళ కెమెరాలతో కూడిన కార్ క్యాబిన్ రికార్డర్ ఒకే ప్రాసెసర్‌ని ఉపయోగించి ఎక్కువ కవరేజీని అందించగలదు. అదేవిధంగా, రెండు లేదా అంతకంటే ఎక్కువ కెమెరాలతో కూడిన కెమెరా మిర్రర్ సిస్టమ్ డ్రైవర్ యొక్క పరిధిని విస్తరించగలదు view మరియు కారు యొక్క అన్ని వైపుల నుండి బ్లైండ్ స్పాట్‌లను తొలగించండి.
  • మెడికల్ ఇమేజింగ్: సర్జికల్ నావిగేషన్ వంటి పనుల కోసం మెడికల్ ఇమేజింగ్‌లో బహుళ కెమెరాలను ఉపయోగించవచ్చు, ఇది మెరుగైన ఖచ్చితత్వం కోసం సర్జన్లకు బహుళ దృక్కోణాలను అందిస్తుంది. ఎండోస్కోపీలో, బహుళ కెమెరాలు అంతర్గత అవయవాలను క్షుణ్ణంగా పరిశీలించడానికి వీలు కల్పిస్తాయి.
  • డ్రోన్లు మరియు ఏరియల్ ఇమేజింగ్: డ్రోన్లు తరచుగా వివిధ కోణాల నుండి అధిక-రిజల్యూషన్ చిత్రాలను లేదా వీడియోలను సంగ్రహించడానికి బహుళ కెమెరాలతో అమర్చబడి ఉంటాయి. ఇది వైమానిక ఫోటోగ్రఫీ, వ్యవసాయ పర్యవేక్షణ మరియు భూమి సర్వేయింగ్ వంటి అనువర్తనాల్లో ఉపయోగపడుతుంది.
  • మైక్రోప్రాసెసర్ల అభివృద్ధితో, బహుళ కెమెరాలను ఒకే సిస్టమ్-ఆన్-చిప్‌లో అనుసంధానించవచ్చు.
    (SoC) కాంపాక్ట్ మరియు సమర్థవంతమైన పరిష్కారాలను అందించడానికి. అధిక-పనితీరు గల వీడియో/విజన్ ప్రాసెసింగ్ మరియు డీప్ లెర్నింగ్ యాక్సిలరేషన్‌తో కూడిన AM62Ax SoC, పైన పేర్కొన్న వినియోగ సందర్భాలకు అనువైన పరికరం. మరొక AM6x పరికరం, AM62P, అధిక-పనితీరు గల ఎంబెడెడ్ 3D డిస్ప్లే అప్లికేషన్‌ల కోసం నిర్మించబడింది. 3D గ్రాఫిక్స్ త్వరణంతో అమర్చబడిన AM62P బహుళ కెమెరాల నుండి చిత్రాలను సులభంగా కలిపి అధిక-రిజల్యూషన్ పనోరమిక్‌ను ఉత్పత్తి చేయగలదు. view. AM62A/AM62P SoC యొక్క వినూత్న లక్షణాలు [4], [5], [6] మొదలైన వివిధ ప్రచురణలలో ప్రదర్శించబడ్డాయి. ఈ అప్లికేషన్ నోట్ ఆ ఫీచర్ వివరణలను పునరావృతం చేయదు కానీ బదులుగా AM2A/AM62Pలోని ఎంబెడెడ్ విజన్ అప్లికేషన్లలో బహుళ CSI-62 కెమెరాలను ఏకీకృతం చేయడంపై దృష్టి పెడుతుంది.
  • ఇమేజ్ ప్రాసెసింగ్ విషయానికొస్తే AM1A మరియు AM1P మధ్య ప్రధాన తేడాలను పట్టిక 62-62 చూపిస్తుంది.

పట్టిక 1-1. ఇమేజ్ ప్రాసెసింగ్‌లో AM62A మరియు AM62P మధ్య తేడాలు

SoC AM62A AM62P
మద్దతు ఉన్న కెమెరా రకం అంతర్నిర్మిత ISP ఉన్నా లేదా లేకపోయినా అంతర్నిర్మిత ISP తో
కెమెరా అవుట్‌పుట్ డేటా రా/YUV/RGB YUV/RGB
ISP HWA అవును నం
డీప్ లెర్నింగ్ HWA అవును నం
3-D గ్రాఫిక్స్ HWA నం అవును

బహుళ CSI-2 కెమెరాలను SoCకి కనెక్ట్ చేస్తోంది
AM6x SoC లోని కెమెరా సబ్‌సిస్టమ్ కింది భాగాలను కలిగి ఉంది, ఇది చిత్రం 2-1లో చూపబడింది:

  • MIPI D-PHY రిసీవర్: బాహ్య కెమెరాల నుండి వీడియో స్ట్రీమ్‌లను అందుకుంటుంది, 4 లేన్‌లకు డేటా లేన్‌కు 1.5 Gbps వరకు మద్దతు ఇస్తుంది.
  • CSI-2 రిసీవర్ (RX): D-PHY రిసీవర్ నుండి వీడియో స్ట్రీమ్‌లను అందుకుంటుంది మరియు స్ట్రీమ్‌లను నేరుగా ISPకి పంపుతుంది లేదా డేటాను DDR మెమరీకి డంప్ చేస్తుంది. ఈ మాడ్యూల్ 16 వర్చువల్ ఛానెల్‌ల వరకు మద్దతు ఇస్తుంది.
  • SHIM: సంగ్రహించిన స్ట్రీమ్‌లను DMA ద్వారా మెమరీకి పంపడానికి వీలు కల్పించే DMA రేపర్. ఈ రేపర్ ద్వారా బహుళ DMA సందర్భాలను సృష్టించవచ్చు, ప్రతి సందర్భం CSI-2 రిసీవర్ యొక్క వర్చువల్ ఛానెల్‌కు అనుగుణంగా ఉంటుంది.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (2)

SoCలో ఒకే ఒక CSI-2 RX ఇంటర్‌ఫేస్ ఉన్నప్పటికీ, CSI-2 RX యొక్క వర్చువల్ ఛానెల్‌లను ఉపయోగించడం ద్వారా AM6xలో బహుళ కెమెరాలకు మద్దతు ఇవ్వవచ్చు. బహుళ కెమెరా స్ట్రీమ్‌లను కలిపి వాటిని ఒకే SoCకి పంపడానికి బాహ్య CSI-2 అగ్రిగేటింగ్ భాగం అవసరం. రెండు రకాల CSI-2 అగ్రిగేటింగ్ సొల్యూషన్‌లను ఉపయోగించవచ్చు, దీనిని క్రింది విభాగాలలో వివరించబడింది.

SerDes ఉపయోగించి CSI-2 అగ్రిగేటర్
బహుళ కెమెరా స్ట్రీమ్‌లను కలపడానికి ఒక మార్గం సీరియలైజింగ్ మరియు డీసీరియలైజింగ్ (సెర్డెస్) సొల్యూషన్‌ను ఉపయోగించడం. ప్రతి కెమెరా నుండి CSI-2 డేటా సీరియలైజర్ ద్వారా మార్చబడుతుంది మరియు కేబుల్ ద్వారా బదిలీ చేయబడుతుంది. డీసీరియలైజర్ కేబుల్‌ల నుండి బదిలీ చేయబడిన అన్ని సీరియలైజ్డ్ డేటాను అందుకుంటుంది (కెమెరాకు ఒక కేబుల్), స్ట్రీమ్‌లను తిరిగి CSI-2 డేటాగా మారుస్తుంది మరియు తరువాత ఇంటర్‌లీవ్డ్ CSI-2 స్ట్రీమ్‌ను SoCలోని సింగిల్ CSI-2 RX ఇంటర్‌ఫేస్‌కు పంపుతుంది. ప్రతి కెమెరా స్ట్రీమ్‌ను ఒక ప్రత్యేకమైన వర్చువల్ ఛానెల్ ద్వారా గుర్తిస్తారు. ఈ అగ్రిగేటింగ్ సొల్యూషన్ కెమెరాల నుండి SoCకి 15 మీటర్ల వరకు సుదూర కనెక్షన్‌ను అనుమతించే అదనపు ప్రయోజనాన్ని అందిస్తుంది.

AM3x Linux SDK లో మద్దతు ఉన్న FPD-Link లేదా V6-Link సీరియలైజర్లు మరియు డెసిరియలైజర్లు (SerDes), ఈ రకమైన CSI-2 అగ్రిగేటింగ్ సొల్యూషన్‌కు అత్యంత ప్రజాదరణ పొందిన సాంకేతికతలు. [3] లో వివరించిన విధంగా, FPD-Link మరియు V7-Link డీసిరియలైజర్‌లు రెండూ బ్యాక్ ఛానెల్‌లను కలిగి ఉంటాయి, వీటిని అన్ని కెమెరాలను సమకాలీకరించడానికి ఫ్రేమ్ సింక్ సిగ్నల్‌లను పంపడానికి ఉపయోగించవచ్చు.
మూర్తి 2-2 మాజీని చూపుతుందిampబహుళ కెమెరాలను ఒకే AM6x SoCకి కనెక్ట్ చేయడానికి SerDesని ఉపయోగించడం యొక్క ఉదాహరణ.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (3)

ఒక మాజీampఈ అగ్రిగేటింగ్ సొల్యూషన్ యొక్క ఉపభాగాన్ని Arducam V3Link కెమెరా సొల్యూషన్ కిట్‌లో చూడవచ్చు. ఈ కిట్‌లో 4 CSI-2 కెమెరా స్ట్రీమ్‌లను, అలాగే 4 జతల V3link సీరియలైజర్‌లను మరియు IMX219 కెమెరాలను కలుపుకునే డీసీరియలైజర్ హబ్ ఉంది, వీటిలో FAKRA కోక్సియల్ కేబుల్స్ మరియు 22-పిన్ FPC కేబుల్స్ ఉన్నాయి. తరువాత చర్చించబడిన రిఫరెన్స్ డిజైన్ ఈ కిట్‌పై నిర్మించబడింది.

SerDes ఉపయోగించకుండా CSI-2 అగ్రిగేటర్
ఈ రకమైన అగ్రిగేటర్ బహుళ MIPI CSI-2 కెమెరాలతో నేరుగా ఇంటర్‌ఫేస్ చేయగలదు మరియు అన్ని కెమెరాల నుండి డేటాను ఒకే CSI-2 అవుట్‌పుట్ స్ట్రీమ్‌కు సమగ్రపరచగలదు.

మూర్తి 2-3 మాజీని చూపుతుందిampఅటువంటి వ్యవస్థ యొక్క le. ఈ రకమైన అగ్రిగేటింగ్ సొల్యూషన్ ఏ సీరియలైజర్/డీసీరియలైజర్‌ను ఉపయోగించదు కానీ CSI-2 డేటా బదిలీ యొక్క గరిష్ట దూరం ద్వారా పరిమితం చేయబడింది, ఇది 30cm వరకు ఉంటుంది. AM6x Linux SDK ఈ రకమైన CSI-2 అగ్రిగేటర్‌కు మద్దతు ఇవ్వదు.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (4)

సాఫ్ట్‌వేర్‌లో బహుళ కెమెరాలను ప్రారంభించడం

కెమెరా సబ్‌సిస్టమ్ సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్
చిత్రం 3-1 AM62A/AM62P Linux SDK లోని కెమెరా క్యాప్చర్ సిస్టమ్ సాఫ్ట్‌వేర్ యొక్క హై-లెవల్ బ్లాక్ రేఖాచిత్రాన్ని చూపిస్తుంది, ఇది చిత్రం 2-2 లోని HW సిస్టమ్‌కు అనుగుణంగా ఉంటుంది.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (5)

  • ఈ సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్, Figure 2-2లో చూపిన విధంగా, SerDesని ఉపయోగించి SoC బహుళ కెమెరా స్ట్రీమ్‌లను స్వీకరించడానికి వీలు కల్పిస్తుంది. FPD-Link/V3-Link SerDes ప్రతి కెమెరాకు ఒక ప్రత్యేకమైన I2C చిరునామా మరియు వర్చువల్ ఛానెల్‌ను కేటాయిస్తుంది. ప్రతి కెమెరాకు ప్రత్యేకమైన I2C చిరునామాతో ఒక ప్రత్యేకమైన పరికర ట్రీ ఓవర్‌లేను సృష్టించాలి. CSI-2 RX డ్రైవర్ ప్రత్యేకమైన వర్చువల్ ఛానల్ నంబర్‌ను ఉపయోగించి ప్రతి కెమెరాను గుర్తిస్తుంది మరియు ప్రతి కెమెరా స్ట్రీమ్‌కు ఒక DMA సందర్భాన్ని సృష్టిస్తుంది. ప్రతి DMA సందర్భానికి ఒక వీడియో నోడ్ సృష్టించబడుతుంది. ప్రతి కెమెరా నుండి డేటాను స్వీకరించి, తదనుగుణంగా మెమరీకి DMA ఉపయోగించి నిల్వ చేయబడుతుంది. కెమెరా డేటాను యాక్సెస్ చేయడానికి యూజర్ స్పేస్ అప్లికేషన్‌లు ప్రతి కెమెరాకు సంబంధించిన వీడియో నోడ్‌లను ఉపయోగిస్తాయి. Exampఈ సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్‌ను ఉపయోగించడం గురించిన వివరాలు అధ్యాయం 4 - రిఫరెన్స్ డిజైన్‌లో ఇవ్వబడ్డాయి.
  • V4L2 ఫ్రేమ్‌వర్క్‌కు అనుగుణంగా ఉన్న ఏదైనా నిర్దిష్ట సెన్సార్ డ్రైవర్ ఈ ఆర్కిటెక్చర్‌లో ప్లగ్ చేసి ప్లే చేయవచ్చు. Linux SDKలో కొత్త సెన్సార్ డ్రైవర్‌ను ఎలా ఇంటిగ్రేట్ చేయాలో [8] చూడండి.

ఇమేజ్ పైప్‌లైన్ సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్

  • AM6x Linux SDK GStreamer (GST) ఫ్రేమ్‌వర్క్‌ను అందిస్తుంది, దీనిని వివిధ అప్లికేషన్‌ల కోసం ఇమేజ్ ప్రాసెసింగ్ భాగాలను ఏకీకృతం చేయడానికి ser స్పేస్‌లో ఉపయోగించవచ్చు. SoCలోని హార్డ్‌వేర్ యాక్సిలరేటర్‌లు (HWA), విజన్ ప్రీ-ప్రాసెసింగ్ యాక్సిలరేటర్ (VPAC) లేదా ISP, వీడియో ఎన్‌కోడర్/డీకోడర్ మరియు డీప్ లెర్నింగ్ కంప్యూట్ ఇంజిన్ వంటివి GST ద్వారా యాక్సెస్ చేయబడతాయి. plugins. VPAC (ISP) లోనే బహుళ బ్లాక్‌లు ఉన్నాయి, వాటిలో విజన్ ఇమేజింగ్ సబ్-సిస్టమ్ (VISS), లెన్స్ డిస్టార్షన్ కరెక్షన్ (LDC) మరియు మల్టీస్కేలార్ (MSC) ఉన్నాయి, ప్రతి ఒక్కటి GST ప్లగిన్‌కు అనుగుణంగా ఉంటాయి.
  • కెమెరా నుండి ఎన్‌కోడింగ్ లేదా డీప్‌కి ఒక సాధారణ ఇమేజ్ పైప్‌లైన్ యొక్క బ్లాక్ రేఖాచిత్రాన్ని చిత్రం 3-2 చూపిస్తుంది.
    AM62Aలో లెర్నింగ్ అప్లికేషన్లు. ఎండ్-టు-ఎండ్ డేటా ఫ్లో గురించి మరిన్ని వివరాల కోసం, EdgeAI SDK డాక్యుమెంటేషన్‌ను చూడండి.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (6)

AM62P కి, ఇమేజ్ పైప్‌లైన్ సరళమైనది ఎందుకంటే AM62P లో ISP లేదు.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (7)

ప్రతి కెమెరా కోసం సృష్టించబడిన వీడియో నోడ్‌తో, GStreamer-ఆధారిత ఇమేజ్ పైప్‌లైన్ బహుళ కెమెరా ఇన్‌పుట్‌లను (ఒకే CSI-2 RX ఇంటర్‌ఫేస్ ద్వారా అనుసంధానించబడి) ఏకకాలంలో ప్రాసెస్ చేయడానికి అనుమతిస్తుంది. బహుళ-కెమెరా అప్లికేషన్‌ల కోసం GStreamerని ఉపయోగించే రిఫరెన్స్ డిజైన్ తదుపరి అధ్యాయంలో ఇవ్వబడింది.

సూచన రూపకల్పన

ఈ అధ్యాయం AM62A EVMలో బహుళ-కెమెరా అప్లికేషన్‌లను అమలు చేయడం, Arducam V3Link కెమెరా సొల్యూషన్ కిట్‌ని ఉపయోగించి 4 CSI-2 కెమెరాలను AM62Aకి కనెక్ట్ చేయడం మరియు మొత్తం 4 కెమెరాలకు ఆబ్జెక్ట్ డిటెక్షన్‌ను అమలు చేయడం యొక్క రిఫరెన్స్ డిజైన్‌ను అందిస్తుంది.

మద్దతు ఉన్న కెమెరాలు
Arducam V3Link కిట్ FPD-Link/V3-Link-ఆధారిత కెమెరాలు మరియు Raspberry Pi-అనుకూల CSI-2 కెమెరాలు రెండింటితోనూ పనిచేస్తుంది. కింది కెమెరాలు పరీక్షించబడ్డాయి:

  • D3 ఇంజనీరింగ్ D3RCM-IMX390-953
  • చిరుతపులి ఇమేజింగ్ LI-OV2312-FPDLINKIII-110H
  • ఆర్డుకామ్ V3 లింక్ కెమెరా సొల్యూషన్ కిట్‌లోని IMX219 కెమెరాలు

నాలుగు IMX219 కెమెరాలను ఏర్పాటు చేస్తోంది
V3Link కిట్ ద్వారా కెమెరాలను AM62A SK కి కనెక్ట్ చేయడానికి SK-AM62A-LP EVM (AM62A SK) మరియు ArduCam V3Link కెమెరా సొల్యూషన్ క్విక్ స్టార్ట్ గైడ్‌ను సెటప్ చేయడానికి AM62A స్టార్టర్ కిట్ EVM క్విక్ స్టార్ట్ గైడ్‌లో అందించిన సూచనలను అనుసరించండి. ఫ్లెక్స్ కేబుల్స్, కెమెరాలు, V3Link బోర్డు మరియు AM62A SK పై ఉన్న పిన్‌లు అన్నీ సరిగ్గా సమలేఖనం చేయబడ్డాయని నిర్ధారించుకోండి.

ఈ నివేదికలో రిఫరెన్స్ డిజైన్ కోసం ఉపయోగించిన సెటప్‌ను చిత్రం 4-1 చూపిస్తుంది. సెటప్‌లోని ప్రధాన భాగాలు:

  • 1X SK-AM62A-LP EVM బోర్డు
  • 1X ఆర్డుకామ్ V3 లింక్ d-ch అడాప్టర్ బోర్డు
  • Arducam V3Link ని SK-AM62A కి కనెక్ట్ చేసే FPC కేబుల్
  • 4X V3Link కెమెరా అడాప్టర్లు (సీరియలైజర్లు)
  • V3Link సీరియలైజర్‌లను V3Link d-ch కిట్‌కు కనెక్ట్ చేయడానికి 4X RF కోక్సియల్ కేబుల్స్
  • 4X IMX219 కెమెరాలు
  • కెమెరాలను సీరియలైజర్‌లకు కనెక్ట్ చేయడానికి 4X CSI-2 22-పిన్ కేబుల్స్
  • కేబుల్స్: HDMI కేబుల్, SK-AM62A-LP కి పవర్ ఇవ్వడానికి USB-C మరియు V3Link d-ch కిట్ కోసం 12V పవర్ సోర్స్ చేయబడింది)
  • చిత్రం 4-1లో చూపబడని ఇతర భాగాలు: మైక్రో-SD కార్డ్, SK-AM62A-LPని యాక్సెస్ చేయడానికి మైక్రో-USB కేబుల్ మరియు స్ట్రీమింగ్ కోసం ఈథర్నెట్

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (8)

కెమెరాలు మరియు CSI-2 RX ఇంటర్‌ఫేస్‌ను కాన్ఫిగర్ చేస్తోంది
Arducam V3Link క్విక్ స్టార్ట్ గైడ్‌లో అందించిన సూచనల ప్రకారం సాఫ్ట్‌వేర్‌ను సెటప్ చేయండి. కెమెరా సెటప్ స్క్రిప్ట్‌ను అమలు చేసిన తర్వాత, setup-imx219.sh, కెమెరా ఫార్మాట్, CSI-2 RX ఇంటర్‌ఫేస్ ఫార్మాట్ మరియు ప్రతి కెమెరా నుండి సంబంధిత వీడియో నోడ్‌కు మార్గాలు సరిగ్గా కాన్ఫిగర్ చేయబడతాయి. నాలుగు IMX219 కెమెరాల కోసం నాలుగు వీడియో నోడ్‌లు సృష్టించబడతాయి. “v4l2-ctl –list-devices” కమాండ్ క్రింద చూపిన విధంగా అన్ని V4L2 వీడియో పరికరాలను ప్రదర్శిస్తుంది:

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (9)

tiscsi2rx కింద 6 వీడియో నోడ్‌లు మరియు 1 మీడియా నోడ్ ఉన్నాయి. ప్రతి వీడియో నోడ్ CSI2 RX డ్రైవర్ కేటాయించిన DMA సందర్భానికి అనుగుణంగా ఉంటుంది. 6 వీడియో నోడ్‌లలో, 4 IMX219 కెమెరాల కోసం ఉపయోగించబడ్డాయి, క్రింద ఉన్న మీడియా పైప్ టోపోలాజీలో చూపిన విధంగా:

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (10)

పైన చూపిన విధంగా, మీడియా ఎంటిటీ 30102000.tici2rx 6 సోర్స్ ప్యాడ్‌లను కలిగి ఉంది, కానీ మొదటి 4 మాత్రమే ఉపయోగించబడ్డాయి, ఒక్కొక్కటి ఒక IMX219 కోసం. మీడియా పైప్ టోపోలాజీని గ్రాఫికల్‌గా కూడా వివరించవచ్చు. డాట్‌ను రూపొందించడానికి కింది ఆదేశాన్ని అమలు చేయండి. file:

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (11)

తరువాత PNG ని జనరేట్ చేయడానికి Linux హోస్ట్ PC లో క్రింద ఉన్న ఆదేశాన్ని అమలు చేయండి. file:టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (12)

పైన ఇచ్చిన ఆదేశాలను ఉపయోగించి రూపొందించబడిన చిత్రం చిత్రం 4-2. చిత్రం 3-1 యొక్క సాఫ్ట్‌వేర్ ఆర్కిటెక్చర్‌లోని భాగాలను ఈ గ్రాఫ్‌లో చూడవచ్చు.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (13)

నాలుగు కెమెరాల నుండి ప్రసారం
హార్డ్‌వేర్ మరియు సాఫ్ట్‌వేర్ రెండూ సరిగ్గా సెటప్ చేయబడితే, బహుళ-కెమెరా అప్లికేషన్‌లు యూజర్ స్పేస్ నుండి అమలు చేయబడతాయి. AM62A కోసం, మంచి ఇమేజ్ నాణ్యతను ఉత్పత్తి చేయడానికి ISP ట్యూన్ చేయబడాలి. ISP ట్యూనింగ్‌ను ఎలా నిర్వహించాలో AM6xA ISP ట్యూనింగ్ గైడ్‌ను చూడండి. కింది విభాగాలు ఉదాహరణలను ప్రదర్శిస్తాయిampకెమెరా డేటాను డిస్ప్లేకి స్ట్రీమింగ్ చేయడం, కెమెరా డేటాను నెట్‌వర్క్‌కు స్ట్రీమింగ్ చేయడం మరియు కెమెరా డేటాను నిల్వ చేయడం వంటివి files.

కెమెరా డేటాను ప్రదర్శించడానికి స్ట్రీమింగ్ చేస్తోంది
ఈ మల్టీ-కెమెరా సిస్టమ్ యొక్క ప్రాథమిక అప్లికేషన్ ఏమిటంటే, అన్ని కెమెరాల నుండి వీడియోలను ఒకే SoCకి కనెక్ట్ చేయబడిన డిస్ప్లేకి స్ట్రీమ్ చేయడం. కిందిది GStreamer పైప్‌లైన్ ఎక్స్ampనాలుగు IMX219 లను డిస్ప్లేకి స్ట్రీమింగ్ చేయడం గురించి (పైప్‌లైన్‌లోని వీడియో నోడ్ నంబర్‌లు మరియు v4l-subdev నంబర్‌లు రీబూట్ నుండి రీబూట్‌కు మారే అవకాశం ఉంది).

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (14) టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (15)

ఈథర్నెట్ ద్వారా కెమెరా డేటాను ప్రసారం చేస్తోంది
అదే SoC కి కనెక్ట్ చేయబడిన డిస్ప్లేకి స్ట్రీమింగ్ చేయడానికి బదులుగా, కెమెరా డేటాను ఈథర్నెట్ ద్వారా కూడా స్ట్రీమ్ చేయవచ్చు. రిసీవింగ్ వైపు మరొక AM62A/AM62P ప్రాసెసర్ లేదా హోస్ట్ PC కావచ్చు. కిందిది ఒక ఉదాహరణampఈథర్నెట్ ద్వారా కెమెరా డేటాను స్ట్రీమింగ్ చేసే విధానం (సరళత కోసం రెండు కెమెరాలను ఉపయోగించడం) (పైప్‌లైన్‌లో ఉపయోగించిన ఎన్‌కోడర్ ప్లగిన్‌ను గమనించండి):

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (16)

కిందిది మాజీampకెమెరా డేటాను స్వీకరించడం మరియు మరొక AM62A/AM62P ప్రాసెసర్‌లోని డిస్ప్లేకి ప్రసారం చేయడం:

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (17)

కెమెరా డేటాను నిల్వ చేస్తోంది Files
డిస్ప్లేకి లేదా నెట్‌వర్క్ ద్వారా స్ట్రీమింగ్ చేయడానికి బదులుగా, కెమెరా డేటాను స్థానికంగా నిల్వ చేయవచ్చు files. క్రింద ఉన్న పైప్‌లైన్ ప్రతి కెమెరా డేటాను నిల్వ చేస్తుంది a file (రెండు కెమెరాలను మాజీగా ఉపయోగించడంampసరళత కోసం le).

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (18)టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (19)

మల్టీకెమెరా డీప్ లెర్నింగ్ ఇన్ఫరెన్స్

AM62A రెండు TOPS వరకు డీప్ లెర్నింగ్ యాక్సిలరేటర్ (C7x-MMA)తో అమర్చబడి ఉంది, ఇవి వర్గీకరణ, ఆబ్జెక్ట్ డిటెక్షన్, సెమాంటిక్ సెగ్మెంటేషన్ మరియు మరిన్నింటి కోసం వివిధ రకాల డీప్ లెర్నింగ్ మోడల్‌లను అమలు చేయగలవు. ఈ విభాగం AM62A నాలుగు వేర్వేరు కెమెరా ఫీడ్‌లలో ఒకేసారి నాలుగు డీప్ లెర్నింగ్ మోడల్‌లను ఎలా అమలు చేయగలదో చూపిస్తుంది.

మోడల్ ఎంపిక
TI యొక్క EdgeAI-ModelZoo వందలాది అత్యాధునిక మోడళ్లను అందిస్తుంది, వీటిని వాటి అసలు శిక్షణ ఫ్రేమ్‌వర్క్‌ల నుండి ఎంబెడెడ్-ఫ్రెండ్లీ ఫార్మాట్‌కి మార్చబడతాయి/ఎగుమతి చేయబడతాయి, తద్వారా వాటిని C7x-MMA డీప్ లెర్నింగ్ యాక్సిలరేటర్‌కి ఆఫ్‌లోడ్ చేయవచ్చు. క్లౌడ్-ఆధారిత ఎడ్జ్ AI స్టూడియో మోడల్ అనలైజర్ ఉపయోగించడానికి సులభమైన “మోడల్ సెలక్షన్” సాధనాన్ని అందిస్తుంది. TI EdgeAI-ModelZooలో మద్దతు ఉన్న అన్ని మోడళ్లను చేర్చడానికి ఇది డైనమిక్‌గా నవీకరించబడింది. ఈ సాధనానికి మునుపటి అనుభవం అవసరం లేదు మరియు కావలసిన మోడల్‌లో అవసరమైన లక్షణాలను నమోదు చేయడానికి సులభమైన ఇంటర్‌ఫేస్‌ను అందిస్తుంది.

ఈ మల్టీ-కెమెరా డీప్ లెర్నింగ్ ప్రయోగం కోసం TFL-OD-2000-ssd-mobV1-coco-mlperf ఎంపిక చేయబడింది. ఈ మల్టీ-ఆబ్జెక్ట్ డిటెక్షన్ మోడల్ 300×300 ఇన్‌పుట్ రిజల్యూషన్‌తో టెన్సర్‌ఫ్లో ఫ్రేమ్‌వర్క్‌లో అభివృద్ధి చేయబడింది. దాదాపు 80 వేర్వేరు తరగతులతో cCOCO డేటాసెట్‌పై శిక్షణ పొందినప్పుడు ఈ మోడల్ యొక్క ముఖ్యమైన లక్షణాలను పట్టిక 4-1 చూపిస్తుంది.

పట్టిక 4-1. మోడల్ TFL-OD-2000-ssd-mobV1-coco-mlperf యొక్క లక్షణాలను హైలైట్ చేయండి.

మోడల్ టాస్క్ రిజల్యూషన్ FPS సగటు జీతం 50%

COCO పై ఖచ్చితత్వం

జాప్యం/ఫ్రేమ్ (ms) DDR BW

వినియోగం (MB/ ఫ్రేమ్)

TFL-OD-2000-ssd- యొక్క లక్షణాలు

mobV1-కోకో-mlperf

బహుళ వస్తువు గుర్తింపు 300×300 ~152 15.9 6.5 18.839

పైప్‌లైన్ సెటప్
చిత్రం 4-3 4-కెమెరా డీప్ లెర్నింగ్ GStreamer పైప్‌లైన్‌ను చూపిస్తుంది. TI GStreamer యొక్క సూట్‌ను అందిస్తుంది. plugins ఇది మీడియా ప్రాసెసింగ్‌లో కొంత భాగాన్ని మరియు హార్డ్‌వేర్ యాక్సిలరేటర్‌లకు లోతైన అభ్యాస అనుమితిని ఆఫ్‌లోడ్ చేయడానికి అనుమతిస్తుంది. కొన్ని ఉదా.ampవీటిలో లెస్ plugins tiovxisp, tiovxmultiscaler, tiovxmosaic మరియు tidlinferer ఉన్నాయి. చిత్రం 4-3 లోని పైప్‌లైన్ అవసరమైనవన్నీ కలిగి ఉంటుంది plugins 4-కెమెరా ఇన్‌పుట్‌ల కోసం మల్టీపాత్ GStreamer పైప్‌లైన్ కోసం, ప్రతి ఒక్కటి మీడియా ప్రీప్రాసెస్, డీప్ లెర్నింగ్ ఇన్ఫరెన్స్ మరియు పోస్ట్‌ప్రాసెస్‌తో ఉంటుంది. నకిలీ plugins సులభంగా ప్రదర్శించడానికి ప్రతి కెమెరా పాత్‌లు గ్రాఫ్‌లో పేర్చబడి ఉంటాయి.
అందుబాటులో ఉన్న హార్డ్‌వేర్ వనరులు నాలుగు కెమెరా పాత్‌ల మధ్య సమానంగా పంపిణీ చేయబడ్డాయి. ఉదాహరణకు, AM62Aలో రెండు ఇమేజ్ మల్టీస్కేలర్‌లు ఉన్నాయి: MSC0 మరియు MSC1. పైప్‌లైన్ స్పష్టంగా MSC0ని కెమెరా 1 మరియు కెమెరా 2 పాత్‌లను ప్రాసెస్ చేయడానికి అంకితం చేస్తుంది, అయితే MSC1 కెమెరా 3 మరియు కెమెరా 4కి అంకితం చేయబడింది.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (21)

నాలుగు కెమెరా పైప్‌లైన్‌ల అవుట్‌పుట్‌ను tiovxmosaic ప్లగిన్ ఉపయోగించి స్కేల్ డౌన్ చేసి, ఒకదానితో ఒకటి అనుసంధానించబడుతుంది. అవుట్‌పుట్ ఒకే స్క్రీన్‌పై ప్రదర్శించబడుతుంది. ఆబ్జెక్ట్ డిటెక్షన్‌ను అమలు చేసే డీప్ లెర్నింగ్ మోడల్‌తో నాలుగు కెమెరాల అవుట్‌పుట్‌ను చిత్రం 4-4 చూపిస్తుంది. ప్రతి పైప్‌లైన్ (కెమెరా) 30 FPS మరియు మొత్తం 120 FPS వద్ద నడుస్తుంది.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (22)

తదుపరిది చిత్రం 4-3లో చూపబడిన మల్టీకెమెరా డీప్ లెర్నింగ్ యూజ్ కేస్ కోసం పూర్తి పైప్‌లైన్ స్క్రిప్ట్.

టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (23) టెక్సాస్-ఇన్స్ట్రుమెంట్స్-AM6x-డెవలపింగ్-మల్టిపుల్-కెమెరా-ఫిగ్- (24)

పనితీరు విశ్లేషణ

V3Link బోర్డు మరియు AM62A SK ఉపయోగించి నాలుగు కెమెరాలతో సెటప్ వివిధ అప్లికేషన్ దృశ్యాలలో పరీక్షించబడింది, వాటిలో నేరుగా స్క్రీన్‌పై ప్రదర్శించడం, ఈథర్నెట్ (నాలుగు UDP ఛానెల్‌లు) ద్వారా ప్రసారం చేయడం, 4 వేర్వేరు వీడియోలకు రికార్డ్ చేయడం వంటివి ఉన్నాయి. fileలు, మరియు లోతైన అభ్యాస అనుమితితో. ప్రతి ప్రయోగంలో, మేము మొత్తం వ్యవస్థ యొక్క సామర్థ్యాలను అన్వేషించడానికి ఫ్రేమ్ రేట్ మరియు CPU కోర్ల వినియోగాన్ని పర్యవేక్షించాము.

గతంలో చిత్రం 4-4లో చూపినట్లుగా, డీప్ లెర్నింగ్ పైప్‌లైన్, స్క్రీన్ దిగువన బార్ గ్రాఫ్‌గా CPU కోర్ లోడ్‌లను చూపించడానికి టైపర్‌ఫోర్లే GStreamer ప్లగిన్‌ను ఉపయోగిస్తుంది. డిఫాల్ట్‌గా, లోడ్‌లను వినియోగ శాతంగా చూపించడానికి గ్రాఫ్ ప్రతి రెండు సెకన్లకు నవీకరించబడుతుంది.tage. tiperfoverlay GStreamer ప్లగిన్‌తో పాటు, perf_stats సాధనం అనేది టెర్మినల్‌లో కోర్ పనితీరును నేరుగా చూపించడానికి రెండవ ఎంపిక, ఇది aకి సేవ్ చేసే ఎంపికతో file. ఈ సాధనం tTiperfoverlaya తో పోలిస్తే మరింత ఖచ్చితమైనది ఎందుకంటే రెండోది ARMm కోర్లు మరియు DDR పై అదనపు లోడ్‌ను జోడిస్తుంది, తద్వారా గ్రాఫ్‌ను గీయవచ్చు మరియు దానిని స్క్రీన్‌పై అతివ్యాప్తి చేయవచ్చు. perf_stats సాధనం ప్రధానంగా ఈ పత్రంలో చూపిన అన్ని పరీక్ష సందర్భాలలో హార్డ్‌వేర్ వినియోగ ఫలితాలను సేకరించడానికి ఉపయోగించబడుతుంది. ఈ పరీక్షలలో అధ్యయనం చేయబడిన కొన్ని ముఖ్యమైన ప్రాసెసింగ్ కోర్లు మరియు యాక్సిలరేటర్లలో ప్రధాన ప్రాసెసర్లు (నాలుగు A53 ఆర్మ్ కోర్లు @ 1.25GHz), డీప్ లెర్నింగ్ యాక్సిలరేటర్ (C7x-MMA @ 850MHz), VISS మరియు మల్టీస్కేలర్‌లతో VPAC (ISP) (MSC0 మరియు MSC1) మరియు DDR ఆపరేషన్లు ఉన్నాయి.

నాలుగు కెమెరాలను డిస్ప్లేకి స్ట్రీమింగ్ చేయడం, ఈథర్నెట్ ద్వారా స్ట్రీమింగ్ చేయడం మరియు నాలుగు వేర్వేరు కెమెరాలకు రికార్డింగ్ చేయడం వంటి మూడు వినియోగ కేసుల కోసం నాలుగు కెమెరాలతో AM62Aని ఉపయోగిస్తున్నప్పుడు పనితీరు మరియు వనరుల వినియోగాన్ని టేబుల్ 5-1 చూపిస్తుంది. files. ప్రతి వినియోగ సందర్భంలో రెండు పరీక్షలు అమలు చేయబడతాయి: కెమెరాతో మాత్రమే మరియు లోతైన అభ్యాస అనుమితితో. అదనంగా, పట్టిక 5-1లోని మొదటి వరుస AM62Aలో ఆపరేటింగ్ సిస్టమ్ మాత్రమే ఎటువంటి వినియోగదారు అప్లికేషన్లు లేకుండా నడుస్తున్నప్పుడు హార్డ్‌వేర్ వినియోగాలను చూపుతుంది. ఇతర పరీక్ష కేసుల హార్డ్‌వేర్ వినియోగాలను మూల్యాంకనం చేసేటప్పుడు పోల్చడానికి ఇది బేస్‌లైన్‌గా ఉపయోగించబడుతుంది. పట్టికలో చూపిన విధంగా, లోతైన అభ్యాసం మరియు స్క్రీన్ డిస్ప్లే కలిగిన నాలుగు కెమెరాలు ఒక్కొక్కటి 30 FPS వద్ద పనిచేస్తాయి, నాలుగు కెమెరాలకు మొత్తం 120 FPS. ఈ అధిక ఫ్రేమ్ రేటు డీప్ లెర్నింగ్ యాక్సిలరేటర్ (C7x-MMA) పూర్తి సామర్థ్యంలో 86% మాత్రమే సాధించబడుతుంది. అదనంగా, ఈ ప్రయోగాలలో లోతైన అభ్యాస యాక్సిలరేటర్ 1000MHzకి బదులుగా 850MHz వద్ద క్లాక్ చేయబడిందని గమనించడం ముఖ్యం, ఇది దాని గరిష్ట పనితీరులో దాదాపు 85% మాత్రమే.

పట్టిక 5-1. స్క్రీన్ డిస్ప్లే, ఈథర్నెట్ స్ట్రీమ్, రికార్డ్ కోసం 62 IMX4 కెమెరాలతో ఉపయోగించినప్పుడు AM219A యొక్క పనితీరు (FPS) మరియు వనరుల వినియోగం Fileలు, మరియు డీప్ లెర్నింగ్ ఇన్ఫెరెన్సింగ్ చేయడం

అప్లికేషన్ n పైప్‌లైన్ (ఆపరేషన్)

)

అవుట్‌పుట్ FPS సగటు పైప్‌లైన్ లు FPS

మొత్తం

MPUలు A53లు @ 1.25

GHz [%]

MCU R5 [%] డిఎల్ఎ (సి7ఎక్స్- ఎంఎంఎ) @ 850

MHz [%]

VISS [%] ఎంఎస్‌సి0 [%] ఎంఎస్‌సి1 [%] DDR

రూ. [MB/s]

DDR

పదం [MB/s]

DDR

మొత్తం [MB/s]

యాప్ లేదు బేస్‌లైన్ ఆపరేషన్ లేదు NA NA NA 1.87 1 0 0 0 0 560 19 579
కెమెరా మాత్రమే స్ట్రీమ్ స్క్రీన్‌కు స్క్రీన్ 30 120 12 12 0 70 61 60 1015 757 1782
ఈథర్నెట్ ద్వారా ప్రసారం చేయండి UDP: 4

పోర్ట్‌లు 1920×1080

30 120 23 6 0 70 0 0 2071 1390 3461
రికార్డ్ చేయండి కు files 4 fileలు 1920×1080 30 120 25 3 0 70 0 0 2100 1403 3503
కెమెరా లోతైన అభ్యాసంతో డీప్ లెర్నింగ్: ఆబ్జెక్ట్ డిటెక్షన్ MobV1- కొబ్బరి స్క్రీన్ 30 120 38 25 86 71 85 82 2926 1676 4602
డీప్ లెర్నింగ్: ఆబ్జెక్ట్ డిటెక్షన్ MobV1- కోకో మరియు స్ట్రీమ్ ఓవర్ ఈథర్నెట్ UDP: 4

పోర్ట్‌లు 1920×1080

28 112 84 20 99 66 65 72 4157 2563 6720
డీప్ లెర్నింగ్: ఆబ్జెక్ట్ డిటెక్షన్ MobV1- కోకో మరియు రికార్డ్ చేయడానికి files 4 fileలు 1920×1080 28 112 87 22 98 75 82 61 2024 2458 6482

సారాంశం
ఈ అప్లికేషన్ నివేదిక AM6x ఫ్యామిలీ పరికరాలలో బహుళ-కెమెరా అప్లికేషన్‌లను ఎలా అమలు చేయాలో వివరిస్తుంది. స్ట్రీమింగ్ మరియు ఆబ్జెక్ట్ డిటెక్షన్ వంటి నాలుగు IMX219 కెమెరాలను ఉపయోగించే అనేక కెమెరా అప్లికేషన్‌లతో, Arducam యొక్క V3Link కెమెరా సొల్యూషన్ కిట్ మరియు AM62A SK EVM ఆధారంగా ఒక రిఫరెన్స్ డిజైన్ నివేదికలో అందించబడింది. వినియోగదారులు Arducam నుండి V3Link కెమెరా సొల్యూషన్ కిట్‌ను పొందాలని మరియు ఈ ఉదాహరణలను పునరావృతం చేయాలని ప్రోత్సహించబడ్డారు.amples. ఈ నివేదిక నాలుగు కెమెరాలను వివిధ కాన్ఫిగరేషన్‌ల కింద ఉపయోగిస్తున్నప్పుడు AM62A పనితీరు యొక్క వివరణాత్మక విశ్లేషణను కూడా అందిస్తుంది, వీటిలో స్క్రీన్‌కు ప్రదర్శించడం, ఈథర్నెట్ ద్వారా ప్రసారం చేయడం మరియు రికార్డింగ్ చేయడం వంటివి ఉన్నాయి. files. ఇది సమాంతరంగా నాలుగు వేర్వేరు కెమెరా స్ట్రీమ్‌లపై లోతైన అభ్యాస అనుమితిని ప్రదర్శించే AM62A యొక్క సామర్థ్యాన్ని కూడా చూపిస్తుంది. ఈ ఉదాహరణలను అమలు చేయడం గురించి ఏవైనా ప్రశ్నలు ఉంటేampకాబట్టి, TI E2E ఫోరమ్‌లో విచారణను సమర్పించండి.

సూచనలు

  1. AM62A స్టార్టర్ కిట్ EVM క్విక్ స్టార్ట్ గైడ్
  2. ArduCam V3Link కెమెరా సొల్యూషన్ క్విక్ స్టార్ట్ గైడ్
  3. AM62A కోసం ఎడ్జ్ AI SDK డాక్యుమెంటేషన్
  4. శక్తి-సమర్థవంతమైన AM62A ప్రాసెసర్‌ని ఉపయోగించే ఎడ్జ్ AI స్మార్ట్ కెమెరాలు
  5. AM62A లో కెమెరా మిర్రర్ సిస్టమ్స్
  6. AM62A లో డ్రైవర్ మరియు ఆక్యుపెన్సీ మానిటరింగ్ సిస్టమ్స్
  7. సరౌండ్ కోసం క్వాడ్ ఛానల్ కెమెరా అప్లికేషన్ View మరియు CMS కెమెరా సిస్టమ్స్
  8. CIS-2 సెన్సార్‌ను ప్రారంభించడంపై AM62Ax Linux అకాడమీ
  9. ఎడ్జ్ AI మోడల్ జూ
  10. ఎడ్జ్ AI స్టూడియో
  11. Perf_stats సాధనం

ఈ అప్లికేషన్ గమనికలో సూచించబడిన TI భాగాలు:

ముఖ్యమైన నోటీసు మరియు నిరాకరణ

TI సాంకేతిక మరియు విశ్వసనీయత డేటా (డేటా షీట్‌లతో సహా), డిజైన్ వనరులు (రిఫరెన్స్ డిజైన్‌లతో సహా), అప్లికేషన్ లేదా ఇతర డిజైన్ సలహాలు, WEB సాధనాలు, భద్రతా సమాచారం మరియు ఇతర వనరులు "ఉన్నట్లే" మరియు అన్ని లోపాలతో, మరియు అన్ని వారెంటీలను నిరాకరిస్తుంది, వ్యక్తీకరించిన మరియు సూచించిన, పరిమితి లేకుండా, సూచించిన విధంగానే మూడవ పక్షం మేధో సంపత్తి హక్కులను ఉల్లంఘించకపోవడం .

ఈ వనరులు TI ఉత్పత్తులతో రూపకల్పన చేసే నైపుణ్యం కలిగిన డెవలపర్‌ల కోసం ఉద్దేశించబడ్డాయి. మీరు మాత్రమే బాధ్యత వహిస్తారు

  1. మీ అప్లికేషన్ కోసం తగిన TI ఉత్పత్తులను ఎంచుకోవడం,
  2. మీ అప్లికేషన్ రూపకల్పన, ధృవీకరించడం మరియు పరీక్షించడం, మరియు
  3. మీ అప్లికేషన్ వర్తించే ప్రమాణాలకు అనుగుణంగా ఉందని మరియు ఏవైనా ఇతర భద్రత, భద్రత, నియంత్రణ లేదా ఇతర అవసరాలకు అనుగుణంగా ఉందని నిర్ధారించుకోవడం.

ఈ వనరులు నోటీసు లేకుండా మార్పుకు లోబడి ఉంటాయి. వనరులో వివరించిన TI ఉత్పత్తులను ఉపయోగించే అప్లికేషన్ అభివృద్ధి కోసం మాత్రమే ఈ వనరులను ఉపయోగించడానికి TI మిమ్మల్ని అనుమతిస్తుంది. ఈ వనరుల యొక్క ఇతర పునరుత్పత్తి మరియు ప్రదర్శన నిషేధించబడింది. ఏ ఇతర TI మేధో సంపత్తి హక్కుకు లేదా ఏదైనా మూడవ పక్ష మేధో సంపత్తి హక్కుకు లైసెన్స్ మంజూరు చేయబడదు. ఈ వనరులను మీరు ఉపయోగించడం వల్ల ఉత్పన్నమయ్యే ఏవైనా క్లెయిమ్‌లు, నష్టాలు, ఖర్చులు, నష్టాలు మరియు బాధ్యతలకు TI బాధ్యత వహించదు మరియు మీరు TI మరియు దాని ప్రతినిధులకు పూర్తిగా నష్టపరిహారం చెల్లిస్తారు.

TI యొక్క ఉత్పత్తులు TI యొక్క విక్రయ నిబంధనలు లేదా అందుబాటులో ఉన్న ఇతర వర్తించే నిబంధనలకు లోబడి అందించబడతాయి ti.com లేదా అటువంటి TI ఉత్పత్తులతో కలిపి అందించబడుతుంది. TI యొక్క ఈ వనరులను అందించడం వలన TI ఉత్పత్తులకు వర్తించే వారెంటీలు లేదా వారంటీ నిరాకరణలను విస్తరించదు లేదా మార్చదు.

మీరు ప్రతిపాదించిన ఏవైనా అదనపు లేదా విభిన్న నిబంధనలను TI అభ్యంతరం చేస్తుంది మరియు తిరస్కరిస్తుంది.

ముఖ్యమైన నోటీసు

  • మెయిలింగ్ చిరునామా: టెక్సాస్ ఇన్‌స్ట్రుమెంట్స్, పోస్ట్ ఆఫీస్ బాక్స్ 655303, డల్లాస్, టెక్సాస్ 75265
  • కాపీరైట్ © 2024, Texas Instruments Incorporated

తరచుగా అడిగే ప్రశ్నలు

ప్ర: AM6x ఫ్యామిలీ పరికరాలతో నేను ఏ రకమైన కెమెరానైనా ఉపయోగించవచ్చా?

AM6x ఫ్యామిలీ వివిధ రకాల కెమెరాలకు మద్దతు ఇస్తుంది, వాటిలో అంతర్నిర్మిత ISP ఉన్నవి లేదా లేనివి కూడా ఉన్నాయి. మద్దతు ఉన్న కెమెరా రకాల గురించి మరిన్ని వివరాల కోసం స్పెసిఫికేషన్‌లను చూడండి.

: ఇమేజ్ ప్రాసెసింగ్‌లో AM62A మరియు AM62P మధ్య ప్రధాన తేడాలు ఏమిటి?

మద్దతు ఉన్న కెమెరా రకాలు, కెమెరా అవుట్‌పుట్ డేటా, ISP HWA ఉనికి, డీప్ లెర్నింగ్ HWA మరియు 3-D గ్రాఫిక్స్ HWA వంటి ముఖ్యమైన వైవిధ్యాలు ఉన్నాయి. వివరణాత్మక పోలిక కోసం స్పెసిఫికేషన్ల విభాగాన్ని చూడండి.

 

పత్రాలు / వనరులు

టెక్సాస్ ఇన్‌స్ట్రుమెంట్స్ AM6x బహుళ కెమెరాను అభివృద్ధి చేస్తోంది [pdf] యూజర్ గైడ్
AM62A, AM62P, AM6x డెవలపింగ్ మల్టిపుల్ కెమెరా, AM6x, డెవలపింగ్ మల్టిపుల్ కెమెరా, మల్టిపుల్ కెమెరా, కెమెరా

సూచనలు

వ్యాఖ్యానించండి

మీ ఇమెయిల్ చిరునామా ప్రచురించబడదు. అవసరమైన ఫీల్డ్‌లు గుర్తించబడ్డాయి *