Texas Instruments AM6x Untwikkeling fan meardere kamera's brûkersgids

Feiligens tafersjoch: Ferbetteret tafersjochdekking, objektfolging en erkenningskrektens.
Surround View: Maakt stereofyzje mooglik foar taken lykas obstakeldeteksje en objektmanipulaasje.

Kabine-opname en kameraspegelsysteem: Biedet útwreide dekking en elimineert blinde flekken.
Medyske ôfbylding: Biedet ferbettere presyzje yn sjirurgyske navigaasje en endoskopie.

Drones en loftfoto's: Fang ôfbyldings mei hege resolúsje fanút ferskate hoeken foar ferskate tapassingen.

Meardere CSI-2-kamera's ferbine mei de SoC:
Om meardere CSI-2-kamera's oan 'e SoC te ferbinen, folgje de rjochtlinen yn 'e brûkershantlieding. Soargje derfoar dat elke kamera goed ôfstimd en ferbûn is mei de oanwiisde poarten op 'e SoC.

Applikaasje Opmerking
Untwikkeljen fan applikaasjes mei meardere kamera's op AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRAKT
Dit rapport beskriuwt applikaasjeûntwikkeling mei meardere CSI-2-kamera's op 'e AM6x-famylje fan apparaten. In referinsjeûntwerp fan objektdeteksje mei djip learen op 4 kamera's op 'e AM62A SoC wurdt presintearre mei prestaasje-analyze. Algemiene prinsipes fan it ûntwerp jilde foar oare SoC's mei in CSI-2-ynterface, lykas AM62x en AM62P.

Ynlieding

Ynbêde kamera's spylje in wichtige rol yn moderne fisysystemen. It brûken fan meardere kamera's yn in systeem wreidet de mooglikheden fan dizze systemen út en makket mooglikheden mooglik dy't net mooglik binne mei ien kamera. Hjirûnder binne wat foarbyldenamplêzingen fan applikaasjes dy't meardere ynbêde kamera's brûke:

Feiligenstafersjoch: Meardere strategysk pleatste kamera's soargje foar wiidweidige tafersjochdekking. Se meitsje panoramyske tafersjoch mooglik. views, blinde flekken ferminderje, en de krektens fan objektfolging en erkenning ferbetterje, wêrtroch't de algemiene feiligensmaatregels ferbettere wurde.
Surround ViewMeardere kamera's wurde brûkt om in stereofisy-opset te meitsjen, wêrtroch trijediminsjonale ynformaasje en de skatting fan djipte mooglik binne. Dit is krúsjaal foar taken lykas obstakeldeteksje yn autonome auto's, krekte objektmanipulaasje yn robotika, en ferbettere realisme fan augmented reality-ûnderfiningen.

Kabinerecorder en kameraspegelsysteem: In autokabinerecorder mei meardere kamera's kin mear dekking biede mei ien prosessor. Op deselde wize kin in kameraspegelsysteem mei twa of mear kamera's it sichtfjild fan 'e bestjoerder útwreidzje. view en eliminearje bline flekken oan alle kanten fan in auto.
Medyske ôfbylding: Meardere kamera's kinne brûkt wurde yn medyske ôfbylding foar taken lykas sjirurgyske navigaasje, wêrtroch sjirurgen meardere perspektiven hawwe foar ferbettere presyzje. By endoskopie meitsje meardere kamera's in yngeand ûndersyk fan ynterne organen mooglik.

Drones en loftfoto's: Drones binne faak foarsjoen fan meardere kamera's om ôfbyldings of fideo's mei hege resolúsje út ferskate hoeken te meitsjen. Dit is nuttich yn tapassingen lykas loftfotografy, lânboumonitoring en lânmjitkunde.
Mei de foarútgong fan mikroprosessors kinne meardere kamera's yntegrearre wurde yn ien System-on-Chip.
(SoC) om kompakte en effisjinte oplossingen te leverjen. De AM62Ax SoC, mei hege prestaasjes fideo-/fisyferwurking en djippe learfersnelling, is in ideaal apparaat foar de hjirboppe neamde gebrûksgefallen. In oar AM6x-apparaat, de AM62P, is boud foar hege prestaasjes ynbêde 3D-displayapplikaasjes. Útrist mei 3D-grafykfersnelling kin de AM62P maklik de ôfbyldings fan meardere kamera's byinoar naaie en in panorama mei hege resolúsje produsearje. viewDe ynnovative funksjes fan 'e AM62A/AM62P SoC binne presintearre yn ferskate publikaasjes, lykas [4], [5], [6], ensfh. Dizze applikaasjenota sil dy funksjebeskriuwingen net werhelje, mar rjochtet him ynstee op it yntegrearjen fan meardere CSI-2-kamera's yn ynbêde fisy-applikaasjes op AM62A/AM62P.

Tabel 1-1 lit de wichtichste ferskillen sjen tusken AM62A en AM62P wat ôfbyldingsferwurking oanbelanget.

Tabel 1-1. Ferskillen tusken AM62A en AM62P yn ôfbyldingsferwurking

SoC	AM62A	AM62P
Stipe kameratype	Mei of sûnder in ynboude ynternetprovider	Mei ynboude ynternetprovider
Kamera-útfiergegevens	Raw/YUV/RGB	YUV/RGB
ISP HWA	Ja	Nee
Djippe learende HWA	Ja	Nee
3D-grafyk HWA	Nee	Ja

Meardere CSI-2-kamera's ferbine mei de SoC
It kamerasubsysteem op 'e AM6x SoC befettet de folgjende komponinten, lykas werjûn yn ôfbylding 2-1:

MIPI D-PHY-ûntfanger: ûntfangt fideostreams fan eksterne kamera's, en stipet maksimaal 1.5 Gbps per databaan foar 4 banen.

CSI-2 Untfanger (RX): ûntfangt fideostreams fan 'e D-PHY-ûntfanger en stjoert de streams direkt nei de ynternetprovider of dumpt de gegevens nei DDR-ûnthâld. Dizze module stipet maksimaal 16 firtuele kanalen.
SHIM: in DMA-wrapper dy't it mooglik makket om de fêstleine streamen nei it ûnthâld te stjoeren fia DMA. Dizze wrapper kin meardere DMA-konteksten oanmakke wurde, wêrby't elke kontekst oerienkomt mei in firtueel kanaal fan 'e CSI-2-ûntfanger.

Meardere kamera's kinne stipe wurde op 'e AM6x troch it brûken fan firtuele kanalen fan CSI-2 RX, sels as der mar ien CSI-2 RX-ynterface op 'e SoC is. In eksterne CSI-2-aggregaasjekomponint is nedich om meardere kamerastreams te kombinearjen en se nei ien SoC te stjoeren. Twa soarten CSI-2-aggregaasjeoplossingen kinne brûkt wurde, beskreaun yn 'e folgjende seksjes.

CSI-2 Aggregator mei SerDes
Ien manier om meardere kamerastreams te kombinearjen is in serialisearjende en deserialisearjende (SerDes) oplossing te brûken. De CSI-2 gegevens fan elke kamera wurde konvertearre troch in serializer en oerdroegen fia in kabel. De deserializer ûntfangt alle serialisearre gegevens dy't oerdroegen wurde fan 'e kabels (ien kabel per kamera), konvertearret de streams werom nei CSI-2 gegevens, en stjoert dan in ynterleaved CSI-2 stream nei de ienige CSI-2 RX-ynterface op 'e SoC. Elke kamerastream wurdt identifisearre troch in unyk firtueel kanaal. Dizze aggregearjende oplossing biedt it ekstra foardiel dat it mooglik is om in ferbining oer lange ôfstân oant 15 meter fan 'e kamera's nei de SoC te meitsjen.

De FPD-Link of V3-Link serializers en deserializers (SerDes), stipe yn 'e AM6x Linux SDK, binne de populêrste technologyen foar dit type CSI-2 aggregaasje-oplossing. Sawol de FPD-Link as de V3-Link deserializers hawwe efterkanalen dy't brûkt wurde kinne om frame-synchronisaasjesignalen te stjoeren om alle kamera's te syngronisearjen, lykas útlein yn [7].
Figuer 2-2 lit in eksampit brûken fan 'e SerDes om meardere kamera's te ferbinen mei ien AM6x SoC.

In eksampIn diel fan dizze aggregearjende oplossing is te finen yn 'e Arducam V3Link Camera Solution Kit. Dizze kit hat in deserialisearhub dy't 4 CSI-2 kamerastreams aggregearret, lykas 4 pearen V3link-serialisearders en IMX219-kamera's, ynklusyf FAKRA-koaksiale kabels en 22-pins FPC-kabels. It referinsjeûntwerp dat letter besprutsen wurdt, is boud op dizze kit.

CSI-2 Aggregator sûnder SerDes te brûken
Dit type aggregator kin direkt ynterface mei meardere MIPI CSI-2-kamera's en de gegevens fan alle kamera's aggregearje nei ien CSI-2-útfierstream.

Figuer 2-3 lit in eksampfan sa'n systeem. Dit type aggregaasje-oplossing brûkt gjin serializer/deserializer, mar wurdt beheind troch de maksimale ôfstân fan CSI-2-gegevensoerdracht, dy't oant 30 sm is. De AM6x Linux SDK stipet dit type CSI-2-aggregator net.

Meardere kamera's yn software ynskeakelje

Kamera Subsysteem Software Arsjitektuer
Figuer 3-1 lit in blokdiagram op heech nivo sjen fan 'e software fan it kamera-opnamesysteem yn AM62A/AM62P Linux SDK, oerienkommende mei it hardwaresysteem yn figuer 2-2.

Dizze software-arsjitektuer stelt de SoC yn steat om meardere kamerastreams te ûntfangen mei it brûken fan SerDes, lykas te sjen is yn figuer 2-2. De FPD-Link/V3-Link SerDes kent in unyk I2C-adres en firtueel kanaal ta oan elke kamera. In unike apparaatbeam-overlay moat makke wurde mei it unike I2C-adres foar elke kamera. De CSI-2 RX-stjoerprogramma herkent elke kamera mei it unike firtuele kanaalnûmer en makket in DMA-kontekst per kamerastream. In fideoknooppunt wurdt makke foar elke DMA-kontekst. Gegevens fan elke kamera wurde dan ûntfongen en opslein mei DMA yn it ûnthâld. Brûkersromte-applikaasjes brûke de fideoknooppunten dy't oerienkomme mei elke kamera om tagong te krijen ta de kameragegevens. BygelyksampYnstruksjes foar it brûken fan dizze software-arsjitektuer wurde jûn yn haadstik 4 - Referinsjeûntwerp.
Elke spesifike sensordriver dy't kompatibel is mei it V4L2-framework kin yn dizze arsjitektuer plug-and-play wurde. Sjoch [8] foar hoe't jo in nije sensordriver yntegrearje kinne yn 'e Linux SDK.

Software-arsjitektuer fan ôfbyldingspipeline

De AM6x Linux SDK leveret it GStreamer (GST) framework, dat brûkt wurde kin yn 'e ser-romte om de ôfbyldingsferwurkingskomponinten foar ferskate applikaasjes te yntegrearjen. De Hardware Accelerators (HWA) op 'e SoC, lykas de Vision Pre-processing Accelerator (VPAC) of ISP, fideo-encoder/decoder, en djippe learning-kompjûtermotor, binne tagonklik fia GST. pluginsDe VPAC (ISP) sels hat meardere blokken, ynklusyf Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC), en Multiscalar (MSC), dy't elk oerienkomme mei in GST-plugin.

Figuer 3-2 lit it blokdiagram sjen fan in typyske ôfbyldingspipeline fan 'e kamera nei kodearring of djippe
learapplikaasjes op AM62A. Foar mear details oer de end-to-end gegevensstream, sjoch de dokumintaasje fan EdgeAI SDK.

Foar AM62P is de ôfbyldingspipeline ienfâldiger, om't der gjin ynternetprovider op AM62P is.

Mei in fideoknooppunt makke foar elk fan 'e kamera's, makket de op GStreamer basearre ôfbyldingspipeline de ferwurking fan meardere kamera-ynputs (ferbûn fia deselde CSI-2 RX-ynterface) tagelyk mooglik. In referinsjeûntwerp mei GStreamer foar applikaasjes mei meardere kamera's wurdt jûn yn it folgjende haadstik.

Referinsje Design

Dit haadstik presintearret in referinsjeûntwerp foar it útfieren fan meardere kamera-applikaasjes op AM62A EVM, mei help fan de Arducam V3Link Camera Solution Kit om 4 CSI-2-kamera's te ferbinen mei AM62A en objektdeteksje út te fieren foar alle 4 kamera's.

Stipe kamera's
De Arducam V3Link-kit wurket mei sawol FPD-Link/V3-Link-basearre kamera's as Raspberry Pi-kompatible CSI-2-kamera's. De folgjende kamera's binne hifke:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219-kamera's yn 'e Arducam V3Link Camera Solution Kit

Fjouwer IMX219-kamera's ynstelle
Folgje de ynstruksjes yn 'e AM62A Starter Kit EVM Quick Start Guide om de SK-AM62A-LP EVM (AM62A SK) en ArduCam V3Link Camera Solution Quick Start Guide yn te stellen om de kamera's te ferbinen mei AM62A SK fia de V3Link-kit. Soargje derfoar dat de pinnen op 'e flexkabels, kamera's, V3Link-board en AM62A SK allegear goed útrjochte binne.

Figuer 4-1 lit de opset sjen dy't brûkt is foar it referinsjeûntwerp yn dit rapport. De wichtichste ûnderdielen fan 'e opset binne:

1X SK-AM62A-LP EVM-boerd
1X Arducam V3Link d-ch adapterboerd
FPC-kabel dy't Arducam V3Link ferbynt mei SK-AM62A

4X V3Link kamera-adapters (serialisearders)
4X RF koaksiale kabels om V3Link serializers te ferbinen mei V3Link d-ch kit
4X IMX219 kamera's

4X CSI-2 22-pins kabels om kamera's te ferbinen mei serializers
Kabels: HDMI-kabel, USB-C om SK-AM62A-LP fan stroom te foarsjen en 12V-stroom foar de V3Link d-ch-kit)
Oare komponinten dy't net werjûn binne yn ôfbylding 4-1: mikro-SD-kaart, mikro-USB-kabel om tagong te krijen ta SK-AM62A-LP, en Ethernet foar streaming

Kamera's en CSI-2 RX-ynterface konfigurearje
Stel de software yn neffens de ynstruksjes yn 'e Arducam V3Link Quick Start Guide. Nei it útfieren fan it kamera-ynstellingsskript, setup-imx219.sh, sille it formaat fan 'e kamera, it CSI-2 RX-ynterfaceformaat en de rûtes fan elke kamera nei it oerienkommende fideoknooppunt goed konfigurearre wurde. Fjouwer fideoknooppunten wurde makke foar de fjouwer IMX219-kamera's. It kommando "v4l2-ctl –list-devices" toant alle V4L2-fideoapparaten, lykas hjirûnder werjûn:

Der binne 6 fideoknooppunten en 1 mediaknooppunt ûnder tiscsi2rx. Elk fideoknooppunt komt oerien mei in DMA-kontekst dy't tawiisd is troch de CSI2 RX-stjoerprogramma. Fan 'e 6 fideoknooppunten wurde der 4 brûkt foar de 4 IMX219-kamera's, lykas te sjen is yn 'e mediapipe-topology hjirûnder:

Lykas hjirboppe te sjen is, hat media-entiteit 30102000.ticsi2rx 6 boarnepads, mar allinich de earste 4 wurde brûkt, elk foar ien IMX219. De mediapipe-topology kin ek grafysk yllustrearre wurde. Fier it folgjende kommando út om in punt te generearjen file:

Fier dan it ûndersteande kommando út op in Linux host PC om in PNG te generearjen file:

Figuer 4-2 is in ôfbylding generearre mei de hjirboppe jûne kommando's. De komponinten yn 'e software-arsjitektuer fan figuer 3-1 binne te finen yn dizze grafyk.

Streaming fan fjouwer kamera's
Mei sawol hardware as software goed ynsteld, kinne applikaasjes mei meardere kamera's fanút de brûkersromte rinne. Foar AM62A moat de ISP ôfstimd wurde om in goede ôfbyldingskwaliteit te produsearjen. Sjoch de AM6xA ISP Tuning Guide foar hoe't jo ISP-ôfstimming útfiere kinne. De folgjende seksjes presintearje foarbyldenamples fan it streamen fan kameragegevens nei in display, it streamen fan kameragegevens nei in netwurk, en it opslaan fan de kameragegevens nei files.

Kameragegevens nei skerm streame
In basis tapassing fan dit systeem mei meardere kamera's is it streamen fan fideo's fan alle kamera's nei in display dat ferbûn is mei deselde SoC. It folgjende is in foarbyld fan in GStreamer pipeline.ampit streamen fan fjouwer IMX219 nei in display (de fideoknooppuntnûmers en v4l-subdev-nûmers yn 'e pipeline sille wierskynlik feroarje fan opnij starte nei opnij starte).

Kameragegevens streame fia Ethernet
Ynstee fan te streamen nei in display dat ferbûn is mei deselde SoC, kinne de kameragegevens ek streamd wurde fia de Ethernet. De ûntfangende kant kin in oare AM62A/AM62P-prosessor of in host-PC wêze. It folgjende is in foarbyldampit streamen fan de kameragegevens fia it Ethernet (mei twa kamera's foar ienfâld) (let op de encoder-plugin dy't yn 'e pipeline brûkt wurdt):

It folgjende is in eksampit ûntfangen fan de kameragegevens en it streamen nei in display op in oare AM62A/AM62P-prosessor:

Kameragegevens opslaan nei Files
Ynstee fan te streamen nei in display of fia in netwurk, kinne de kameragegevens opslein wurde yn lokale files. De pipeline hjirûnder bewarret de gegevens fan elke kamera nei in file (mei twa kamera's as in eksampfoar ienfâld).

Multikamera Djippe Learning Ynferinsje

AM62A is foarsjoen fan in djippe learfersneller (C7x-MMA) mei maksimaal twa TOPS, dy't ferskate soarten djippe learmodellen kinne útfiere foar klassifikaasje, objektdeteksje, semantyske segmintaasje, en mear. Dizze seksje lit sjen hoe't AM62A tagelyk fjouwer djippe learmodellen op fjouwer ferskillende kamerafeeds útfiere kin.

Model Seleksje
De EdgeAI-ModelZoo fan TI biedt hûnderten state-of-the-art modellen, dy't konvertearre/eksportearre binne fan har orizjinele trainingsframeworks nei in ynbêde-freonlik formaat, sadat se kinne wurde offload nei de C7x-MMA djippe learfersneller. De cloud-basearre Edge AI Studio Model Analyzer biedt in maklik te brûken "Model Selection"-ark. It wurdt dynamysk bywurke om alle modellen op te nimmen dy't stipe wurde yn TI EdgeAI-ModelZoo. De ark fereasket gjin foargeande ûnderfining en biedt in maklik te brûken ynterface om de funksjes yn te fieren dy't nedich binne yn it winske model.

De TFL-OD-2000-ssd-mobV1-coco-mlperf waard selektearre foar dit djippe leareksperimint mei meardere kamera's. Dit model foar it detektearen fan meardere objekten is ûntwikkele yn it TensorFlow-raamwurk mei in ynfierresolúsje fan 300 × 300. Tabel 4-1 lit de wichtige funksjes fan dit model sjen as it traind wurdt op 'e cCOCO-dataset mei sawat 80 ferskillende klassen.

Tabel 4-1. Markearring fan funksjes fan it model TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model	Taak	Resolúsje	FPS	mAP 50% Krektens op COCO	Latinsje/Frame (ms)	DDR BW Gebrûk (MB/frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Deteksje fan meardere objekten	300×300	~152	15.9	6.5	18.839

Pipeline-opset
Figuer 4-3 lit de djippe learning GStreamer-pipeline mei 4 kamera's sjen. TI leveret in suite fan GStreamer plugins dy't it mooglik meitsje om guon fan 'e mediaferwurking en de djippe learynferinsje nei de hardwarefersnellers te ferpleatsen. Guon bygelyksamples fan dizze plugins omfetsje tiovxisp, tiovxmultiscaler, tiovxmosaic, en tidlinferer. De pipeline yn figuer 4-3 omfettet alle fereaske plugins foar in multipad GStreamer-pipeline foar 4-kamera-ynputen, elk mei media-foarferwurking, djippe learynferinsje en neiferwurking. De duplikaat plugins Foar elk fan 'e kamerapaden binne de diagrammen yn 'e grafyk steapele foar makliker demonstraasje.
De beskikbere hardwareboarnen binne lykwichtich ferdield oer de fjouwer kamerapaden. Bygelyks, AM62A befettet twa ôfbyldingsmultiskalers: MSC0 en MSC1. De pipeline wijdt MSC0 eksplisyt oan it ferwurkjen fan kamera 1- en kamera 2-paden, wylst MSC1 wijd is oan kamera 3 en kamera 4.

De útfier fan 'e fjouwer kamerapipelines wurdt lytser makke en oaninoar keppele mei de tiovxmosaic-plugin. De útfier wurdt werjûn op ien skerm. Figuer 4-4 lit de útfier sjen fan 'e fjouwer kamera's mei in djip learmodel dat objektdeteksje útfiert. Elke pipeline (kamera) rint op 30 FPS en in totaal fan 120 FPS.

Folgjende is it folsleine pipeline-skript foar it gebrûksgefal fan djippe learen mei meardere kamera's werjûn yn figuer 4-3.

Performance Analysis

De opset mei fjouwer kamera's mei it V3Link-board en de AM62A SK waard yn ferskate tapassingsscenario's testen, ynklusyf direkt werjaan op in skerm, streaming oer Ethernet (fjouwer UDP-kanalen), opnimmen nei 4 aparte ... files, en mei djippe learynferinsje. Yn elk eksperimint hawwe wy de framerate en it gebrûk fan CPU-kearnen kontrolearre om de mooglikheden fan it heule systeem te ferkennen.

Lykas earder te sjen yn figuer 4-4, brûkt de djippe learpipeline de tiperfoverlay GStreamer-plugin om CPU-kearnlasten as in staafdiagram ûnderoan it skerm te sjen litten. Standert wurdt de grafyk elke twa sekonden bywurke om de lasten as in gebrûkspersintaazje te sjen litten.tage. Neist de tiperfoverlay GStreamer-plugin is de perf_stats-tool in twadde opsje om kearnprestaasjes direkt op 'e terminal te sjen litten mei in opsje foar it opslaan nei in fileDizze ark is krekter yn ferliking mei de tTiperfoverlay, om't de lêste ekstra lading tafoeget oan 'e ARMm-kearnen en de DDR om de grafyk te tekenjen en oer it skerm te lizzen. De perf_stats-ark wurdt benammen brûkt om resultaten fan hardwaregebrûk te sammeljen yn alle testgefallen dy't yn dit dokumint werjûn wurde. Guon fan 'e wichtige ferwurkingskearnen en fersnellers dy't yn dizze testen bestudearre binne, omfetsje de haadprosessors (fjouwer A53 Arm-kearnen @ 1.25GHz), de djippe learfersneller (C7x-MMA @ 850MHz), de VPAC (ISP) mei VISS en multiscalers (MSC0 en MSC1), en DDR-operaasjes.

Tabel 5-1 lit de prestaasjes en it gebrûk fan boarnen sjen by it brûken fan AM62A mei fjouwer kamera's foar trije gebrûksgefallen, ynklusyf it streamen fan fjouwer kamera's nei in display, streaming oer Ethernet en opname nei fjouwer aparte files. Twa testen wurde yn elke gebrûksgefal útfierd: mei allinich de kamera en mei djippe learynferinsje. Derneist toant de earste rige yn Tabel 5-1 hardwaregebrûk doe't allinich it bestjoeringssysteem op AM62A rûn sûnder brûkersapplikaasjes. Dit wurdt brûkt as basisline om te fergelykjen mei by it evaluearjen fan hardwaregebrûk fan 'e oare testgefallen. Lykas te sjen is yn 'e tabel, wurken de fjouwer kamera's mei djip learen en skermwerjefte elk op 30 FPS, mei in totaal fan 120 FPS foar de fjouwer kamera's. Dizze hege framerate wurdt berikt mei mar 86% fan 'e folsleine kapasiteit fan' e djippe learfersneller (C7x-MMA). Derneist is it wichtich om te notearjen dat de djippe learfersneller yn dizze eksperiminten op 850 MHz waard klokt ynstee fan 1000 MHz, wat sawat mar 85% fan syn maksimale prestaasjes is.

Tabel 5-1. Prestaasjes (FPS) en gebrûk fan boarnen fan AM62A by gebrûk mei 4 IMX219-kamera's foar skermwerjefte, Ethernet-stream, opname nei Files, en it útfieren fan djippe learinferinsje

Applikaasje n	Pipeline (operaasje )	Utfier	FPS gemiddelde pipeline s	FPS totaal	MPU's A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Totaal [MB/s]
Gjin app	Basisline Gjin operaasje	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Kamera allinnich	Stream nei it skerm	Skerm	30	120	12	12	0	70	61	60	1015	757	1782
	Stream oer Ethernet	UDP: 4 havens 1920 × 1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Opnimme nei files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam mei Djip learen	Djip learen: Objektdeteksje MobV1- coco	Skerm	30	120	38	25	86	71	85	82	2926	1676	4602
	Djip learen: Objektdeteksje MobV1- coco en Stream oer Ethernet	UDP: 4 havens 1920 × 1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Djip learen: Objektdeteksje MobV1- coco en opnimme nei files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Gearfetting
Dit applikaasjerapport beskriuwt hoe't jo applikaasjes foar meardere kamera's kinne ymplementearje op 'e AM6x-famylje fan apparaten. In referinsjeûntwerp basearre op Arducam's V3Link Camera Solution Kit en AM62A SK EVM wurdt levere yn it rapport, mei ferskate kamera-applikaasjes dy't fjouwer IMX219-kamera's brûke, lykas streaming en objektdeteksje. Brûkers wurde oanmoedige om de V3Link Camera Solution Kit fan Arducam te keapjen en dizze foarbylden te replikearjen.amples. It rapport jout ek in detaillearre analyze fan 'e prestaasjes fan AM62A by it brûken fan fjouwer kamera's ûnder ferskate konfiguraasjes, ynklusyf werjaan op in skerm, streaming oer Ethernet, en opnimme nei files. It lit ek de mooglikheid fan AM62A sjen om djippe learinferinsje parallel út te fieren op fjouwer aparte kamerastreams. As der fragen binne oer it útfieren fan dizze eksamples, stjoer in fraach yn op it TI E2E forum.

Referinsjes

AM62A Starter Kit EVM Fluchstartgids

ArduCam V3Link kamera-oplossing Fluchstartgids
Dokumintaasje fan Edge AI SDK foar AM62A
Edge AI Smart Camera's mei enerzjy-effisjinte AM62A-prosessor

Kameraspegelsystemen op AM62A
Bestjoerder- en bewenningsmonitoringsystemen op AM62A
Quad Channel Camera-applikaasje foar Surround View en CMS-kamerasystemen

AM62Ax Linux Academy oer it ynskeakeljen fan CIS-2-sensor
Edge AI ModelZoo
Edge AI Studio

Perf_stats-ark

TI-ûnderdielen neamd yn dizze applikaasjenotysje:

https://www.ti.com/product/AM62A7

WICHTICH NOTICE EN DISCLAIMER

TI LEVERT TECHNISCHE EN BETROUWBAARHEIDSGEGEVENS (YNKLUDERENDE GEGEVENSBLAD), DESIGN RESOURCES (YNKLUDEREF REFERENTJE ONTWERPEN), APPLIKASJE OF OAR ONTWERP ADVIES, WEB TOOLS, FEILIGHEIDSYNFORMAASJE, EN OARE BRONNEN "AS IS" EN MET ALLE FOUTEN, EN DISCLAIMS ALLE GARANTIES, EXPRESS EN YMPLYSISJE, INKLUDERENDE SÛN BEPERKING ELKE YMPLIYTE GARANTIES FAN HANDELBAARHEID FOAR PARTYFANIGHEID, - ÛNDERFANIGHEIDEN HIRD PARTY yntellektuele eigendomsrjochten .

Dizze boarnen binne bedoeld foar betûfte ûntwikkelders dy't ûntwerpe mei TI-produkten. Jo binne allinnich ferantwurdlik foar

selektearje de passende TI-produkten foar jo applikaasje,

it ûntwerpen, validearjen en testen fan jo applikaasje, en
derfoar soargje dat jo applikaasje foldocht oan jildende noarmen, en alle oare feiligens-, befeiligings-, regeljouwings- of oare easken.

Dizze boarnen kinne sûnder notice feroarje. TI lit jo dizze boarnen allinich brûke foar de ûntwikkeling fan in applikaasje dy't de TI-produkten brûkt dy't yn 'e boarne beskreaun binne. Oare reproduksje en werjefte fan dizze boarnen is ferbean. Der wurdt gjin lisinsje ferliend oan oare yntellektuele eigendomsrjochten fan TI of oan yntellektuele eigendomsrjochten fan tredden. TI wiist ferantwurdlikens ôf foar, en jo sille TI en har fertsjintwurdigers folslein frijstelle fan, alle oanspraken, skea, kosten, ferliezen en oanspraaklikheden dy't ûntsteane út jo gebrûk fan dizze boarnen.

De produkten fan TI wurde levere ûnder foarbehâld fan de ferkeapbetingsten fan TI of oare jildende betingsten beskikber op ti.com of foarsjoen yn gearhing mei sokke TI produkten. TI's foarsjenning fan dizze boarnen wreidet of feroaret TI's jildende garânsjes of garânsjeferklearrings foar TI-produkten net.

TI makket beswier tsjin en fersmyt alle ekstra of oare betingsten dy't jo miskien hawwe foarsteld.

WICHTICH NOTICE

Postadres: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Faak stelde fragen

F: Kin ik elk type kamera brûke mei de AM6x-famylje fan apparaten?

De AM6x-famylje stipet ferskate kameratypen, ynklusyf dy mei of sûnder ynboude ISP. Sjoch de spesifikaasjes foar mear details oer stipe kameratypen.

Wat binne de wichtichste ferskillen tusken AM62A en AM62P yn ôfbyldingsferwurking?

De wichtichste fariaasjes omfetsje stipe kameratypen, kamera-útfiergegevens, oanwêzigens fan ISP HWA, Deep Learning HWA, en 3-D Graphics HWA. Sjoch it spesifikaasjediel foar in detaillearre ferliking.

Dokuminten / Resources

Texas Instruments AM6x ûntwikkelt meardere kamera's [pdf] Brûkersgids
AM62A, AM62P, AM6x Untwikkelje meardere kamera's, AM6x, Untwikkelje meardere kamera's, Meardere kamera's, Kamera

Referinsjes

User Manual

Texas Instruments AM6x ûntwikkelt meardere kamera's

Spesifikaasjes