Texas Instruments AM6x Handleiding voor het ontwikkelen van meerdere camera's

Beveiligingsbewaking: Verbetert de bewakingsdekking, het volgen van objecten en de herkenningsnauwkeurigheid.
Omringen View: Maakt stereovisie mogelijk voor taken zoals obstakeldetectie en objectmanipulatie.

Cabinerecorder en cameraspiegelsysteem: Biedt een uitgebreide dekking en elimineert dode hoeken.
Medische beeldvorming: Biedt verbeterde precisie bij chirurgische navigatie en endoscopie.

Drones en luchtfotografie: Maak hoge-resolutiebeelden vanuit verschillende hoeken voor diverse toepassingen.

Meerdere CSI-2-camera's aansluiten op de SoC:
Om meerdere CSI-2-camera's op de SoC aan te sluiten, volgt u de richtlijnen in de gebruikershandleiding. Zorg ervoor dat elke camera correct is uitgelijnd en aangesloten op de daarvoor bestemde poorten op de SoC.

Toepassingsnotitie
Ontwikkelen van toepassingen met meerdere camera's op AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRACT
Dit rapport beschrijft applicatieontwikkeling met behulp van meerdere CSI-2-camera's op de AM6x-familie. Een referentieontwerp van objectdetectie met deep learning op vier camera's op de AM4A SoC wordt gepresenteerd, inclusief prestatieanalyse. De algemene principes van het ontwerp zijn van toepassing op andere SoC's met een CSI-62-interface, zoals de AM2x en AM62P.

Invoering

Ingebouwde camera's spelen een belangrijke rol in moderne beeldsystemen. Het gebruik van meerdere camera's in een systeem vergroot de mogelijkheden van deze systemen en maakt mogelijkheden mogelijk die met één camera niet mogelijk zijn. Hieronder vindt u enkele voorbeelden.ampVoorbeelden van toepassingen die gebruikmaken van meerdere ingebouwde camera's:

Beveiligingsbewaking: Meerdere strategisch geplaatste camera's bieden een uitgebreide bewakingsdekking. Ze maken panoramische beelden mogelijk. views, verkleint blinde vlekken en verbetert de nauwkeurigheid van het volgen en herkennen van objecten, waardoor de algemene veiligheidsmaatregelen worden verbeterd.
Omringen View: Meerdere camera's worden gebruikt om een stereovisie-opstelling te creëren, wat driedimensionale informatie en dieptebepaling mogelijk maakt. Dit is cruciaal voor taken zoals obstakeldetectie in autonome voertuigen, nauwkeurige objectmanipulatie in robotica en een verbeterde realisme van augmented reality-ervaringen.

Cabinerecorder en cameraspiegelsysteem: een cabinerecorder met meerdere camera's kan met één processor meer dekking bieden. Een cameraspiegelsysteem met twee of meer camera's kan het gezichtsveld van de bestuurder vergroten. view en elimineer dode hoeken aan alle kanten van een auto.
Medische beeldvorming: Meerdere camera's kunnen worden gebruikt bij medische beeldvorming, bijvoorbeeld voor chirurgische navigatie. Dit biedt chirurgen meerdere perspectieven voor een grotere precisie. Bij endoscopie maken meerdere camera's een grondig onderzoek van inwendige organen mogelijk.

Drones en luchtfotografie: Drones zijn vaak uitgerust met meerdere camera's om vanuit verschillende hoeken hoge-resolutiebeelden of video's vast te leggen. Dit is handig voor toepassingen zoals luchtfotografie, landbouwmonitoring en landmeetkunde.
Dankzij de vooruitgang in microprocessoren kunnen meerdere camera's in één System-on-Chip worden geïntegreerd.
(SoC) om compacte en efficiënte oplossingen te bieden. De AM62Ax SoC, met krachtige video-/beeldverwerking en deep learning-acceleratie, is een ideaal apparaat voor de bovengenoemde toepassingen. Een ander AM6x-apparaat, de AM62P, is gebouwd voor hoogwaardige embedded 3D-displaytoepassingen. Uitgerust met 3D-grafische acceleratie kan de AM62P eenvoudig de beelden van meerdere camera's aan elkaar plakken en een panoramafoto met hoge resolutie produceren. viewDe innovatieve kenmerken van de AM62A/AM62P SoC zijn in verschillende publicaties gepresenteerd, zoals [4], [5], [6], enz. Deze toepassingsnotitie zal deze functiebeschrijvingen niet herhalen, maar richt zich in plaats daarvan op de integratie van meerdere CSI-2-camera's in embedded vision-toepassingen op AM62A/AM62P.

In tabel 1-1 worden de belangrijkste verschillen tussen de AM62A en de AM62P op het gebied van beeldverwerking weergegeven.

Tabel 1-1. Verschillen tussen AM62A en AM62P in beeldverwerking

SoC	AM62A	AM62P
Ondersteund cameratype	Met of zonder ingebouwde ISP	Met ingebouwde ISP
Camera-uitvoergegevens	Rauw/YUV/RGB	YUV/RGB
ISP HWA	Ja	Nee
Diep leren HWA	Ja	Nee
3D-graphics HWA	Nee	Ja

Meerdere CSI-2-camera's aansluiten op de SoC
Het camerasubsysteem op de AM6x SoC bevat de volgende componenten, zoals weergegeven in Afbeelding 2-1:

MIPI D-PHY-ontvanger: ontvangt videostreams van externe camera's en ondersteunt maximaal 1.5 Gbps per datalijn voor 4 lijnen.

CSI-2-ontvanger (RX): ontvangt videostreams van de D-PHY-ontvanger en stuurt deze rechtstreeks naar de internetprovider of dumpt de data naar het DDR-geheugen. Deze module ondersteunt maximaal 16 virtuele kanalen.
SHIM: een DMA-wrapper waarmee de vastgelegde streams via DMA naar het geheugen kunnen worden verzonden. Deze wrapper kan meerdere DMA-contexten aanmaken, waarbij elke context overeenkomt met een virtueel kanaal van de CSI-2-ontvanger.

Meerdere camera's kunnen op de AM6x worden ondersteund door gebruik te maken van virtuele kanalen van CSI-2 RX, ondanks het feit dat er slechts één CSI-2 RX-interface op de SoC aanwezig is. Een externe CSI-2-aggregatiecomponent is nodig om meerdere camerastreams te combineren en naar één SoC te sturen. Er kunnen twee soorten CSI-2-aggregatieoplossingen worden gebruikt, die in de volgende secties worden beschreven.

CSI-2 Aggregator met behulp van SerDes
Eén manier om meerdere camerastreams te combineren is door gebruik te maken van een serialiserende en deserialiserende (SerDes) oplossing. De CSI-2-data van elke camera wordt door een serializer omgezet en via een kabel verzonden. De deserializer ontvangt alle geserialiseerde data die via de kabels (één kabel per camera) wordt verzonden, zet de streams terug naar CSI-2-data en verzendt vervolgens een interleaved CSI-2-stream naar de enkele CSI-2 RX-interface op de SoC. Elke camerastream wordt geïdentificeerd door een uniek virtueel kanaal. Deze aggregerende oplossing biedt als bijkomend voordeel dat er een langeafstandsverbinding tot 15 meter mogelijk is tussen de camera's en de SoC.

De FPD-Link of V3-Link serializers en deserializers (SerDes), ondersteund in de AM6x Linux SDK, zijn de meest populaire technologieën voor dit type CSI-2-aggregatieoplossing. Zowel de FPD-Link als de V3-Link deserializers beschikken over backchannels die gebruikt kunnen worden om framesynchronisatiesignalen te verzenden om alle camera's te synchroniseren, zoals uitgelegd in [7].
Figuur 2-2 toont een exampvoorbeeld van het gebruik van de SerDes om meerdere camera's op één AM6x SoC aan te sluiten.

een exampEen deel van deze aggregatieoplossing is te vinden in de Arducam V3Link Camera Solution Kit. Deze kit bevat een deserializerhub die 4 CSI-2 camerastreams aggregeert, evenals 4 paar V3link serializers en IMX219-camera's, inclusief FAKRA coaxkabels en 22-pins FPC-kabels. Het referentieontwerp dat later wordt besproken, is gebaseerd op deze kit.

CSI-2 Aggregator zonder gebruik van SerDes
Dit type aggregator kan rechtstreeks communiceren met meerdere MIPI CSI-2-camera's en de gegevens van alle camera's samenvoegen tot één CSI-2-uitvoerstroom.

Figuur 2-3 toont een example van een dergelijk systeem. Dit type aggregatieoplossing maakt geen gebruik van een serializer/deserializer, maar is beperkt tot de maximale afstand voor CSI-2-gegevensoverdracht, die maximaal 30 cm bedraagt. De AM6x Linux SDK ondersteunt dit type CSI-2-aggregator niet.

Meerdere camera's in software inschakelen

Softwarearchitectuur van het camerasubsysteem
Figuur 3-1 toont een blokdiagram op hoog niveau van de software voor het camera-opnamesysteem in de AM62A/AM62P Linux SDK, overeenkomend met het HW-systeem in Figuur 2-2.

Deze softwarearchitectuur stelt de SoC in staat om meerdere camerastreams te ontvangen met behulp van SerDes, zoals weergegeven in Afbeelding 2-2. De FPD-Link/V3-Link SerDes wijst een uniek I²C-adres en virtueel kanaal toe aan elke camera. Er moet een unieke apparaatboomoverlay worden gemaakt met het unieke I²C-adres voor elke camera. De CSI-2 RX-driver herkent elke camera aan de hand van het unieke virtuele kanaalnummer en creëert een DMA-context per camerastream. Voor elke DMA-context wordt een videoknooppunt aangemaakt. Gegevens van elke camera worden vervolgens ontvangen en via DMA in het geheugen opgeslagen. Toepassingen in de gebruikersruimte gebruiken de videoknooppunten die bij elke camera horen om toegang te krijgen tot de cameragegevens. Bijv.ampLessen over het gebruik van deze softwarearchitectuur worden gegeven in Hoofdstuk 4 – Referentieontwerp.
Elke specifieke sensordriver die compatibel is met het V4L2-framework kan in deze architectuur plug-and-play worden gebruikt. Zie [8] voor informatie over het integreren van een nieuwe sensordriver in de Linux SDK.

Softwarearchitectuur voor beeldpijplijnen

De AM6x Linux SDK biedt het GStreamer (GST)-framework, dat in de ser-ruimte kan worden gebruikt om de beeldverwerkingscomponenten voor diverse toepassingen te integreren. De Hardware Accelerators (HWA) op de SoC, zoals de Vision Pre-processing Accelerator (VPAC) of ISP, video-encoder/-decoder en deep learning compute engine, zijn toegankelijk via GST. pluginsDe VPAC (ISP) zelf heeft meerdere blokken, waaronder Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) en Multiscalar (MSC), die elk overeenkomen met een GST-plug-in.

Figuur 3-2 toont het blokdiagram van een typische beeldpijplijn van de camera naar codering of diepe
Leertoepassingen op AM62A. Raadpleeg de EdgeAI SDK-documentatie voor meer informatie over de end-to-end gegevensstroom.

Voor AM62P is de beeldpijplijn eenvoudiger omdat er geen ISP op AM62P is.

Met een videoknooppunt voor elk van de camera's maakt de op GStreamer gebaseerde beeldpijplijn de gelijktijdige verwerking van meerdere camera-ingangen (verbonden via dezelfde CSI-2 RX-interface) mogelijk. Een referentieontwerp met GStreamer voor toepassingen met meerdere camera's vindt u in het volgende hoofdstuk.

Referentie ontwerp

In dit hoofdstuk wordt een referentieontwerp beschreven voor het uitvoeren van toepassingen met meerdere camera's op de AM62A EVM, waarbij gebruik wordt gemaakt van de Arducam V3Link Camera Solution Kit om 4 CSI-2-camera's aan te sluiten op de AM62A en objectdetectie wordt uitgevoerd voor alle 4 de camera's.

Ondersteunde camera's
De Arducam V3Link-kit werkt met zowel FPD-Link/V3-Link-gebaseerde camera's als Raspberry Pi-compatibele CSI-2-camera's. De volgende camera's zijn getest:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

IMX219-camera's in de Arducam V3Link Camera Solution Kit

Vier IMX219-camera's instellen
Volg de instructies in de snelstartgids voor de AM62A Starter Kit EVM om de SK-AM62A-LP EVM (AM62A SK) en de snelstartgids voor de ArduCam V3Link Camera Solution in te stellen en de camera's via de V62Link-kit aan te sluiten op de AM3A SK. Zorg ervoor dat de pinnen op de flexkabels, camera's, V3Link-printplaat en AM62A SK allemaal goed zijn uitgelijnd.

Figuur 4-1 toont de opstelling die is gebruikt voor het referentieontwerp in dit rapport. De belangrijkste componenten van de opstelling zijn:

1X SK-AM62A-LP EVM-kaart
1X Arducam V3Link d-ch adapterkaart
FPC-kabel die Arducam V3Link verbindt met SK-AM62A

4X V3Link camera-adapters (serializers)
4x RF coaxiale kabels om V3Link serializers aan te sluiten op de V3Link d-ch kit
4X IMX219-camera's

4X CSI-2 22-pins kabels om camera's op serializers aan te sluiten
Kabels: HDMI-kabel, USB-C voor de voeding van de SK-AM62A-LP en 12V-voeding voor de V3Link d-ch kit)
Andere componenten die niet in Figuur 4-1 worden getoond: micro-SD-kaart, micro-USB-kabel voor toegang tot SK-AM62A-LP en Ethernet voor streaming

Camera's en CSI-2 RX-interface configureren
Installeer de software volgens de instructies in de Arducam V3Link Quick Start Guide. Nadat u het camera-installatiescript setup-imx219.sh hebt uitgevoerd, worden de camera-indeling, de CSI-2 RX-interface en de routes van elke camera naar het bijbehorende videoknooppunt correct geconfigureerd. Er worden vier videoknooppunten aangemaakt voor de vier IMX219-camera's. De opdracht "v4l2-ctl –list-devices" geeft alle V4L2-videoapparaten weer, zoals hieronder weergegeven:

Er zijn 6 videoknooppunten en 1 mediaknooppunt onder tiscsi2rx. Elk videoknooppunt komt overeen met een DMA-context die is toegewezen door de CSI2 RX-driver. Van de 6 videoknooppunten worden er 4 gebruikt voor de 4 IMX219-camera's, zoals weergegeven in de onderstaande mediapijptopologie:

Zoals hierboven weergegeven, heeft media-entiteit 30102000.ticsi2rx 6 source pads, maar alleen de eerste 4 worden gebruikt, elk voor één IMX219. De mediapipe-topologie kan ook grafisch worden weergegeven. Voer de volgende opdracht uit om een dot te genereren. file:

Voer vervolgens de onderstaande opdracht uit op een Linux-host-pc om een PNG-bestand te genereren file:

Figuur 4-2 is een afbeelding die is gegenereerd met behulp van de bovenstaande opdrachten. De componenten in de softwarearchitectuur van Figuur 3-1 zijn in deze grafiek te vinden.

Streamen vanaf vier camera's
Met zowel de hardware als de software correct ingesteld, kunnen applicaties met meerdere camera's vanuit de gebruikersruimte worden uitgevoerd. Voor de AM62A moet de ISP worden afgestemd om een goede beeldkwaliteit te produceren. Raadpleeg de AM6xA ISP-afstemhandleiding voor meer informatie over het afstemmen van de ISP. De volgende secties beschrijven voorbeelden.ampvan streaming cameragegevens naar een beeldscherm, streaming cameragegevens naar een netwerk en het opslaan van de cameragegevens op files.

Streaming cameragegevens weergeven
Een basistoepassing van dit multicamerasysteem is het streamen van de video's van alle camera's naar een scherm dat is aangesloten op dezelfde SoC. Hieronder volgt een voorbeeld van een GStreamer-pipeline.amphet streamen van vier IMX219 naar een scherm (de videoknooppuntnummers en v4l-subdev-nummers in de pijplijn zullen waarschijnlijk veranderen van reboot tot reboot).

Streaming cameragegevens via Ethernet
In plaats van te streamen naar een scherm dat is aangesloten op dezelfde SoC, kunnen de cameragegevens ook via Ethernet worden gestreamd. De ontvangende kant kan een andere AM62A/AM62P-processor of een host-pc zijn. Hieronder volgt een voorbeeld.ampmogelijkheid om cameragegevens via Ethernet te streamen (voor de eenvoud twee camera's gebruikend) (let op de encoder-plugin die in de pijplijn wordt gebruikt):

Het volgende is een examphet ontvangen van cameragegevens en het streamen naar een beeldscherm op een andere AM62A/AM62P-processor:

Cameragegevens opslaan in Files
In plaats van het streamen naar een beeldscherm of via een netwerk, kunnen de cameragegevens lokaal worden opgeslagen files. De onderstaande pijplijn slaat de gegevens van elke camera op in een file (met behulp van twee camera's als een examp(voor de eenvoud).

Multicamera Deep Learning Inference

De AM62A is uitgerust met een deep learning-accelerator (C7x-MMA) met maximaal twee TOPS, die verschillende soorten deep learning-modellen kunnen uitvoeren voor classificatie, objectdetectie, semantische segmentatie en meer. Deze sectie laat zien hoe de AM62A vier deep learning-modellen tegelijkertijd kan uitvoeren op vier verschillende camerafeeds.

Modelselectie
De EdgeAI-ModelZoo van TI biedt honderden state-of-the-art modellen, die vanuit hun oorspronkelijke trainingsframeworks worden geconverteerd/geëxporteerd naar een embedded-vriendelijk formaat, zodat ze kunnen worden overgezet naar de C7x-MMA deep learning accelerator. De cloudgebaseerde Edge AI Studio Model Analyzer biedt een gebruiksvriendelijke tool voor "Modelselectie". Deze tool wordt dynamisch bijgewerkt en bevat alle modellen die in TI EdgeAI-ModelZoo worden ondersteund. De tool vereist geen eerdere ervaring en biedt een gebruiksvriendelijke interface om de gewenste functies in het gewenste model in te voeren.

De TFL-OD-2000-ssd-mobV1-coco-mlperf werd geselecteerd voor dit multi-camera deep learning-experiment. Dit model voor multi-objectdetectie is ontwikkeld in het TensorFlow-framework met een invoerresolutie van 300×300. Tabel 4-1 toont de belangrijkste kenmerken van dit model na training op de cCOCO-dataset met ongeveer 80 verschillende klassen.

Tabel 4-1. Belangrijkste kenmerken van het model TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model	Taak	Oplossing	FPS	mAP 50% Nauwkeurigheid op COCO	Latentie/Frame (ms)	DDR-BW Gebruik (MB/Frame)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Detectie van meerdere objecten	300×300	~152	15.9	6.5	18.839

Pijpleidinginstallatie
Figuur 4-3 toont de 4-camera deep learning GStreamer-pijplijn. TI biedt een suite van GStreamer plugins die het mogelijk maken om een deel van de mediaverwerking en de deep learning-inferentie over te dragen aan de hardwareversnellers. Sommige examples van deze plugins omvatten tiovxisp, tiovxmultiscaler, tiovxmosaic en tidlinferer. De pijplijn in Figuur 4-3 bevat alle benodigde plugins voor een multipath GStreamer-pijplijn voor 4-camera-ingangen, elk met media-preprocessing, deep learning-inferentie en postprocessing. De gedupliceerde plugins Voor een eenvoudiger demonstratie zijn de paden van elk van de camera's in de grafiek gestapeld.
De beschikbare hardwarebronnen zijn gelijkmatig verdeeld over de vier camerapaden. Zo bevat AM62A twee beeldmultiscalers: MSC0 en MSC1. De pipeline reserveert MSC0 expliciet voor de verwerking van camerapaden 1 en 2, terwijl MSC1 is toegewezen aan camerapaden 3 en 4.

De uitvoer van de vier camerapijplijnen wordt verkleind en samengevoegd met behulp van de tiovxmosaic-plug-in. De uitvoer wordt op één scherm weergegeven. Figuur 4-4 toont de uitvoer van de vier camera's met een deep learning-model dat objectdetectie uitvoert. Elke pijplijn (camera) draait op 30 fps en in totaal 120 fps.

Hieronder ziet u het volledige pijplijnscript voor het multicamera deep learning-gebruiksscenario dat is weergegeven in Afbeelding 4-3.

Prestatieanalyse

De opstelling met vier camera's met behulp van het V3Link-bord en de AM62A SK werd getest in verschillende toepassingsscenario's, waaronder directe weergave op een scherm, streaming via Ethernet (vier UDP-kanalen), opname op 4 afzonderlijke files, en met deep learning-inferentie. In elk experiment monitorden we de framesnelheid en het gebruik van CPU-cores om de mogelijkheden van het hele systeem te verkennen.

Zoals eerder weergegeven in Figuur 4-4, gebruikt de deep learning-pipeline de tiperfoverlay GStreamer-plug-in om de CPU-corebelasting weer te geven als een staafdiagram onder aan het scherm. Standaard wordt de grafiek elke twee seconden bijgewerkt om de belasting weer te geven als een gebruikspercentage.tage. Naast de tiperfoverlay GStreamer-plug-in is de perf_stats-tool een tweede optie om de kernprestaties rechtstreeks op de terminal weer te geven met een optie om op te slaan in een fileDeze tool is nauwkeuriger dan de Tipperf-overlay, omdat deze laatste extra belasting toevoegt aan de ARMm-cores en de DDR om de grafiek te tekenen en over het scherm te leggen. De perf_stats-tool wordt voornamelijk gebruikt om resultaten van hardwaregebruik te verzamelen in alle testcases die in dit document worden getoond. Enkele van de belangrijkste processorcores en -versnellers die in deze tests worden bestudeerd, zijn de hoofdprocessors (vier A53 Arm-cores @ 1.25 GHz), de deep learning-versneller (C7x-MMA @ 850 MHz), de VPAC (ISP) met VISS en multiscalers (MSC0 en MSC1) en DDR-bewerkingen.

Tabel 5-1 toont de prestaties en het resourcegebruik bij gebruik van de AM62A met vier camera's voor drie gebruiksgevallen, waaronder het streamen van vier camera's naar een beeldscherm, het streamen via Ethernet en het opnemen op vier afzonderlijke files. In elk gebruiksscenario worden twee tests uitgevoerd: alleen met de camera en met deep learning-inferentie. Bovendien toont de eerste rij in tabel 5-1 het hardwaregebruik wanneer alleen het besturingssysteem op de AM62A draaide, zonder gebruikersapplicaties. Dit wordt gebruikt als basislijn om mee te vergelijken bij het evalueren van het hardwaregebruik van de andere testcases. Zoals weergegeven in de tabel, werkten de vier camera's met deep learning en schermweergave elk op 30 FPS, met een totaal van 120 FPS voor de vier camera's. Deze hoge framesnelheid wordt bereikt met slechts 86% van de volledige capaciteit van de deep learning-accelerator (C7x-MMA). Daarnaast is het belangrijk om op te merken dat de deep learning-accelerator in deze experimenten op 850 MHz in plaats van 1000 MHz werd geklokt, wat ongeveer slechts 85% van zijn maximale prestaties is.

Tabel 5-1. Prestaties (FPS) en resourcegebruik van AM62A bij gebruik met 4 IMX219-camera's voor schermweergave, Ethernet-stream, opname naar Files, en het uitvoeren van diepgaande leerinferentie

Toepassing n	Pijpleiding (operatie )	Uitvoer	FPS gemiddelde pijplijn s	FPS totaal	MPU's A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x-MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Weg [MB/s]	DDR Schrijven [MB/s]	DDR Totaal [MB/s]
Geen app	Basislijn Geen operatie	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Camera alleen	Stroom naar scherm	Scherm	30	120	12	12	0	70	61	60	1015	757	1782
	Streamen via Ethernet	UDP: 4 poorten 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Dossier naar files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Nok met diepgaand leren	Diep leren: objectdetectie MobV1-coco	Scherm	30	120	38	25	86	71	85	82	2926	1676	4602
	Deep learning: objectdetectie MobV1-coco en streamen over Ethernet	UDP: 4 poorten 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Deep learning: objectdetectie MobV1-coco en opnemen files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Samenvatting
Dit toepassingsrapport beschrijft hoe u multi-cameratoepassingen kunt implementeren op de AM6x-apparatenfamilie. Het rapport bevat een referentieontwerp gebaseerd op Arducams V3Link Camera Solution Kit en AM62A SK EVM, met verschillende cameratoepassingen met vier IMX219-camera's, zoals streaming en objectdetectie. Gebruikers worden aangemoedigd om de V3Link Camera Solution Kit van Arducam aan te schaffen en deze ex te repliceren.amples. Het rapport biedt ook een gedetailleerde analyse van de prestaties van de AM62A bij gebruik van vier camera's in verschillende configuraties, waaronder weergave op een scherm, streaming via Ethernet en opname op files. Het toont ook de mogelijkheid van AM62A om deep learning-inferentie uit te voeren op vier afzonderlijke camerastreams parallel. Als u vragen heeft over het gebruik van deze examples, dien een aanvraag in op het TI E2E forum.

Referenties

AM62A Starter Kit EVM Snelstartgids

ArduCam V3Link Camera Solution Snelstartgids
Edge AI SDK-documentatie voor AM62A
Edge AI Smart Camera's met energiezuinige AM62A-processor

Cameraspiegelsystemen op AM62A
Bestuurders- en bezettingsbewakingssystemen op AM62A
Quad Channel Camera-applicatie voor Surround View en CMS-camerasystemen

AM62Ax Linux Academy over het inschakelen van CIS-2-sensor
Edge AI ModelZoo
Edge AI Studio

Perf_stats-tool

TI-onderdelen waarnaar in deze toepassingsnotitie wordt verwezen:

https://www.ti.com/product/AM62A7

BELANGRIJKE MEDEDELING EN DISCLAIMER

TI VERSTREKT TECHNISCHE EN BETROUWBAARHEIDSGEGEVENS (INCLUSIEF GEGEVENSBLADEN), ONTWERPBRONNEN (INCLUSIEF REFERENTIEONTWERPEN), TOEPASSINGS- OF ANDER ONTWERPADVIES, WEB HULPMIDDELEN, VEILIGHEIDSINFORMATIE EN ANDERE HULPMIDDELEN "AS IS" EN MET ALLE FOUTEN, EN WIJST ALLE GARANTIES, UITDRUKKELIJK EN IMPLICIET, INCLUSIEF ENIGE IMPLICIETE GARANTIES VAN VERKOOPBAARHEID, GESCHIKTHEID VOOR EEN BEPAALD NAAR EEN BEPAALD DOEL AF .

Deze bronnen zijn bedoeld voor ervaren ontwikkelaars die ontwerpen met TI-producten. U bent als enige verantwoordelijk voor

het selecteren van de juiste TI-producten voor uw toepassing,

het ontwerpen, valideren en testen van uw applicatie, en
ervoor zorgen dat uw applicatie voldoet aan de geldende normen en andere veiligheids-, beveiligings-, wettelijke of andere vereisten.

Deze bronnen kunnen zonder voorafgaande kennisgeving worden gewijzigd. TI staat u toe deze bronnen uitsluitend te gebruiken voor de ontwikkeling van een applicatie die gebruikmaakt van de TI-producten die in de bron worden beschreven. Andere reproductie en weergave van deze bronnen is verboden. Er wordt geen licentie verleend voor enig ander intellectueel eigendomsrecht van TI of enig intellectueel eigendomsrecht van derden. TI wijst alle verantwoordelijkheid af voor, en u vrijwaart TI en haar vertegenwoordigers volledig tegen, alle claims, schade, kosten, verliezen en aansprakelijkheden die voortvloeien uit uw gebruik van deze bronnen.

De producten van TI worden geleverd onder de Verkoopvoorwaarden van TI of andere toepasselijke voorwaarden die beschikbaar zijn op ti.com of geleverd in combinatie met dergelijke TI-producten. De terbeschikkingstelling door TI van deze middelen vormt geen uitbreiding of wijziging van de van toepassing zijnde garanties of garantiedisclaimers van TI voor TI-producten.

TI maakt bezwaar tegen en verwerpt eventuele aanvullende of afwijkende voorwaarden die u mogelijk heeft voorgesteld.

BELANGRIJKE MEDEDELING

Postadres: Texas Instruments, Postbus 655303, Dallas, Texas 75265

Veelgestelde vragen

V: Kan ik elk type camera gebruiken met apparaten uit de AM6x-familie?

De AM6x-familie ondersteunt verschillende cameratypen, inclusief camera's met of zonder ingebouwde ISP. Raadpleeg de specificaties voor meer informatie over ondersteunde cameratypen.

: Wat zijn de belangrijkste verschillen tussen de AM62A en de AM62P op het gebied van beeldverwerking?

De belangrijkste verschillen zijn onder meer de ondersteunde cameratypen, de uitvoergegevens van de camera en de aanwezigheid van ISP HWA, Deep Learning HWA en 3D Graphics HWA. Raadpleeg de specificaties voor een gedetailleerde vergelijking.

Documenten / Bronnen

Texas Instruments AM6x ontwikkelt meerdere camera's [pdf] Gebruikershandleiding
AM62A, AM62P, AM6x Ontwikkelen van meerdere camera's, AM6x, Ontwikkelen van meerdere camera's, Meerdere camera's, Camera

Referenties

Gebruiksaanwijzing

Texas Instruments AM6x ontwikkelt meerdere camera's

Specificaties