テキサス・インスツルメンツ - ロゴ

テキサス・インスツルメンツ AM6x 複数のカメラを開発中

Texas-Instruments-AM6x-マルチカメラ製品の開発

仕様

  • 製品名: AM6xデバイスファミリー
  • 対応カメラタイプ: AM62A (ISP内蔵/非内蔵)、AM62P (ISP内蔵)
  • カメラ出力データ: AM62A (Raw/YUV/RGB)、AM62P (YUV/RGB)
  • ISP HWA: AM62A (はい)、AM62P (いいえ)
  • ディープラーニング HWA: AM62A (はい)、AM62P (いいえ)
  • 3DグラフィックスHWA: AM62A(なし)、AM62P(あり)

AM6x での複数カメラアプリケーションの紹介:

  • 組み込みカメラは現代のビジョンシステムにおいて重要な役割を果たします。
  • システム内で複数のカメラを利用すると機能が強化され、単一のカメラでは実現できないタスクが可能になります。

複数のカメラを使用するアプリケーション:

  • セキュリティ監視: 監視範囲、物体追跡、認識精度が向上します。
  • 囲む View: 障害物の検出やオブジェクトの操作などのタスクにステレオビジョンを有効にします。
  • キャビンレコーダーとカメラミラーシステム: カバー範囲が広がり、死角がなくなります。
  • 医療画像: 外科手術ナビゲーションと内視鏡検査の精度が向上します。
  • ドローンと航空写真: さまざまなアプリケーションに合わせて、さまざまな角度から高解像度の画像をキャプチャします。

複数の CSI-2 カメラを SoC に接続する:
複数のCSI-2カメラをSoCに接続するには、ユーザーマニュアルに記載されているガイドラインに従ってください。各カメラがSoCの指定されたポートに正しく接続され、配置されていることを確認してください。

アプリケーションノート
AM6x での複数カメラアプリケーションの開発

Jianzhong Xu、クタイバ・サレハ

抽象的な
本レポートでは、AM2xファミリーデバイス上で複数のCSI-6カメラを用いたアプリケーション開発について解説します。AM4A SoC上で62台のカメラを用いたディープラーニングによる物体検出のリファレンスデザインと、そのパフォーマンス分析を紹介します。この設計の一般的な原理は、AM2xやAM62Pなど、CSI-62インターフェースを備えた他のSoCにも適用できます。

導入

組み込みカメラは現代のビジョンシステムにおいて重要な役割を果たしています。複数のカメラをシステム内で使用することで、システムの機能が拡張され、1台のカメラでは実現できない機能も実現できます。以下に、組み込みカメラの例をいくつか挙げます。amp複数の組み込みカメラを使用するアプリケーションの例:

  • セキュリティ監視:戦略的に配置された複数のカメラが包括的な監視範囲を提供します。パノラマ撮影が可能です。 view死角を減らし、物体の追跡と認識の精度を高め、全体的なセキュリティ対策を改善します。
  • 囲む View複数のカメラを用いてステレオビジョンを構築することで、3次元情報と奥行きの推定が可能になります。これは、自動運転車における障害物検知、ロボット工学における精密な物体操作、拡張現実(AR)体験のリアリティ向上といったタスクに不可欠です。
  • キャビンレコーダーとカメラミラーシステム:複数のカメラを搭載したキャビンレコーダーは、単一のプロセッサでより広い範囲をカバーできます。同様に、2台以上のカメラを搭載したカメラミラーシステムは、運転者の視界を拡張します。 view 車の全方向からの死角をなくします。
  • 医療用画像:複数のカメラは、手術ナビゲーションなどの医療用画像診断に使用され、外科医に複数の視点を提供することで精度の向上を実現します。内視鏡検査では、複数のカメラを使用することで内臓の徹底的な検査が可能になります。
  • ドローンと航空撮影:ドローンには複数のカメラが搭載されていることが多く、様々な角度から高解像度の画像や動画を撮影できます。これは、航空写真撮影、農業監視、土地測量などの用途に役立ちます。
  • マイクロプロセッサの進歩により、複数のカメラを 1 つのシステムオンチップに統合できるようになりました。
    コンパクトで効率的なソリューションを提供するためのSoCです。高性能ビデオ/ビジョン処理とディープラーニングアクセラレーションを備えたAM62Ax SoCは、上記のユースケースに最適なデバイスです。AM6xのもう62つのデバイスであるAM3Pは、高性能な組み込み3Dディスプレイアプリケーション向けに構築されています。62Dグラフィックスアクセラレーションを搭載したAMXNUMXPは、複数のカメラからの画像を簡単につなぎ合わせ、高解像度のパノラマ画像を作成できます。 viewAM62A/AM62P SoCの革新的な機能は、[4]、[5]、[6]などのさまざまな出版物で紹介されています。このアプリケーションノートでは、それらの機能の説明を繰り返すのではなく、複数のCSI-2カメラをAM62A/AM62P上の組み込みビジョンアプリケーションに統合することに焦点を当てています。
  • 表 1-1 は、画像処理に関する AM62A と AM62P の主な違いを示しています。

表1-1. AM62AとAM62Pの画像処理における違い

ソニック AM62A AM62P
サポートされているカメラの種類 ISP内蔵の有無 ISP内蔵
カメラ出力データ 生/YUV/RGB YUV/RGB
ISP HWA はい いいえ
ディープラーニングHWA はい いいえ
3DグラフィックスHWA いいえ はい

複数の CSI-2 カメラを SoC に接続する
AM6x SoC のカメラ サブシステムには、図 2-1 に示すように、次のコンポーネントが含まれています。

  • MIPI D-PHY レシーバー: 外部カメラからのビデオ ストリームを受信し、1.5 レーンのデータ レーンあたり最大 4 Gbps をサポートします。
  • CSI-2レシーバー(RX):D-PHYレシーバーからビデオストリームを受信し、ISPに直接送信するか、DDRメモリにデータをダンプします。このモジュールは最大16個の仮想チャネルをサポートします。
  • SHIM: キャプチャしたストリームをDMA経由でメモリに送信できるようにするDMAラッパー。このラッパーによって複数のDMAコンテキストを作成でき、各コンテキストはCSI-2レシーバーの仮想チャネルに対応します。

Texas Instruments AM6x 複数カメラの開発図 (2)

AM6xは、SoC上にCSI-2 RXインターフェースが2つしかないにもかかわらず、CSI-2 RXの仮想チャンネルを使用することで複数のカメラをサポートできます。複数のカメラストリームを結合して単一のSoCに送信するには、外付けのCSI-2アグリゲーティングコンポーネントが必要です。以下のセクションで説明するXNUMX種類のCSI-XNUMXアグリゲーティングソリューションが利用可能です。

SerDes を使用した CSI-2 アグリゲータ
複数のカメラストリームを統合する方法の一つとして、シリアライズ/デシリアライズ(SerDes)ソリューションがあります。各カメラからのCSI-2データはシリアライザによって変換され、ケーブルを介して転送されます。デシリアライザは、ケーブル(カメラ2台につき2本のケーブル)から転送されるすべてのシリアルデータを受信し、ストリームをCSI-2データに戻した後、インターリーブされたCSI-15ストリームをSoC上の単一のCSI-XNUMX RXインターフェースに送信します。各カメラストリームは、固有の仮想チャネルによって識別されます。この集約ソリューションは、カメラからSoCまで最大XNUMXmの長距離接続を可能にするという追加のメリットも提供します。

AM3x Linux SDKでサポートされているFPD-LinkまたはV6-Linkシリアライザ/デシリアライザ(SerDes)は、この種のCSI-2アグリゲーションソリューションにおいて最も広く採用されている技術です。FPD-LinkとV3-Linkのデシリアライザはどちらも、フレーム同期信号を送信してすべてのカメラを同期させるためのバックチャネルを備えています([7]で説明)。
図 2-2 は例を示しています。ampSerDes を使用して複数のカメラを単一の AM6x SoC に接続する例。

Texas Instruments AM6x 複数カメラの開発図 (3)

元ampこの集約ソリューションの主要部分は、Arducam V3Linkカメラソリューションキットにあります。このキットには、4つのCSI-2カメラストリームを集約するデシリアライザハブ、4組のV3Linkシリアライザ、IMX219カメラ、FAKRA同軸ケーブル、22ピンFPCケーブルが含まれています。後述するリファレンスデザインは、このキットに基づいて構築されています。

SerDes を使用しない CSI-2 アグリゲータ
このタイプのアグリゲータは、複数の MIPI CSI-2 カメラと直接インターフェイスし、すべてのカメラからのデータを単一の CSI-2 出力ストリームに集約できます。

図 2-3 は例を示しています。ampこのようなシステムの例としては、シリアライザ/デシリアライザは使用しませんが、CSI-2データ転送の最大距離が30cmに制限されます。AM6x Linux SDKは、このタイプのCSI-2アグリゲータをサポートしていません。

Texas Instruments AM6x 複数カメラの開発図 (4)

ソフトウェアで複数のカメラを有効にする

カメラサブシステムのソフトウェアアーキテクチャ
図 3-1 は、図 62-62 の HW システムに対応する、AM2A/AM2P Linux SDK のカメラ キャプチャ システム ソフトウェアの高レベル ブロック図を示しています。

Texas Instruments AM6x 複数カメラの開発図 (5)

  • このソフトウェアアーキテクチャにより、SoCはSerDesを使用して複数のカメラストリームを受信できます(図2-2を参照)。FPD-Link/V3-Link SerDesは、各カメラに固有のI2Cアドレスと仮想チャネルを割り当てます。カメラごとに固有のI2Cアドレスを使用して、固有のデバイスツリーオーバーレイを作成する必要があります。CSI-2 RXドライバは、固有の仮想チャネル番号を使用して各カメラを認識し、カメラストリームごとにDMAコンテキストを作成します。DMAコンテキストごとにビデオノードが作成されます。各カメラからのデータは、DMAを使用して受信され、メモリに保存されます。ユーザー空間アプリケーションは、各カメラに対応するビデオノードを使用してカメラデータにアクセスします。例:ampこのソフトウェア アーキテクチャの使用例については、第 4 章「リファレンス デザイン」を参照してください。
  • V4L2フレームワークに準拠した特定のセンサードライバは、このアーキテクチャでプラグアンドプレイ可能です。新しいセンサードライバをLinux SDKに統合する方法については、[8]を参照してください。

画像パイプラインソフトウェアアーキテクチャ

  • AM6x Linux SDKは、GStreamer(GST)フレームワークを提供します。これは、サーバー空間で様々なアプリケーションの画像処理コンポーネントを統合するために使用できます。SoC上のハードウェアアクセラレータ(HWA)、例えばビジョンプリプロセッシングアクセラレータ(VPAC)またはISP、ビデオエンコーダ/デコーダ、ディープラーニングコンピューティングエンジンなどは、GSTを介してアクセスされます。 pluginsVPAC (ISP) 自体には、Vision Imaging Sub-System (VISS)、Lens Distortion Correction (LDC)、Multiscalar (MSC) などの複数のブロックがあり、それぞれが GST プラグインに対応しています。
  • 図3-2は、カメラからエンコードまたはディープラーニングまでの典型的な画像パイプラインのブロック図を示しています。
    AM62A 上の学習アプリケーション。エンドツーエンドのデータフローの詳細については、EdgeAI SDK のドキュメントを参照してください。

Texas Instruments AM6x 複数カメラの開発図 (6)

AM62P には ISP がないため、画像パイプラインはよりシンプルになります。

Texas Instruments AM6x 複数カメラの開発図 (7)

各カメラごとにビデオノードを作成することで、GStreamerベースの画像パイプラインは、複数のカメラ入力(同じCSI-2 RXインターフェースを介して接続)を同時に処理することを可能にします。次の章では、マルチカメラアプリケーション向けのGStreamerを用いたリファレンスデザインを紹介します。

リファレンスデザイン

この章では、Arducam V62Link カメラ ソリューション キットを使用して 3 台の CSI-4 カメラを AM2A に接続し、62 台のカメラすべてに対してオブジェクト検出を実行し、AM4A EVM 上で複数のカメラ アプリケーションを実行するリファレンス デザインについて説明します。

サポートされているカメラ
Arducam V3Linkキットは、FPD-Link/V3-LinkベースのカメラとRaspberry Pi対応CSI-2カメラの両方で動作します。以下のカメラでテスト済みです。

  • D3エンジニアリング D3RCM-IMX390-953
  • レオパードイメージング LI-OV2312-FPDLINKIII-110H
  • Arducam V219LinkカメラソリューションキットのIMX3カメラ

219台のIMXXNUMXカメラのセットアップ
AM62AスターターキットEVMクイックスタートガイドに記載されている手順に従って、SK-AM62A-LP EVM(AM62A SK)とArduCam V3Linkカメラソリューションクイックスタートガイドをセットアップし、V62Linkキットを介してカメラをAM3A SKに接続してください。フレックスケーブル、カメラ、V3Linkボード、AM62A SKのピンがすべて正しく揃っていることを確認してください。

図4-1は、本レポートのリファレンスデザインに使用したセットアップを示しています。セットアップの主なコンポーネントは次のとおりです。

  • SK-AM1A-LP EVMボード×62
  • 1X Arducam V3Link d-ch アダプタボード
  • Arducam V3LinkとSK-AM62Aを接続するFPCケーブル
  • 4X V3Link カメラ アダプター (シリアライザー)
  • V4LinkシリアライザをV3Link d-chキットに接続するための3本のRF同軸ケーブル
  • 4倍のIMX219カメラ
  • カメラをシリアライザーに接続するための 4X CSI-2 22 ピン ケーブル
  • ケーブル: HDMI ケーブル、SK-AM62A-LP に電源を供給するための USB-C、および V12Link d-ch キット用の 3V 電源
  • 図4-1に示されていないその他のコンポーネント:micro-SDカード、SK-AM62A-LPにアクセスするためのmicro-USBケーブル、ストリーミング用のイーサネット

Texas Instruments AM6x 複数カメラの開発図 (8)

カメラとCSI-2 RXインターフェースの設定
Arducam V3Linkクイックスタートガイドの指示に従ってソフトウェアをセットアップしてください。カメラセットアップスクリプトsetup-imx219.shを実行すると、カメラのフォーマット、CSI-2 RXインターフェースフォーマット、および各カメラから対応するビデオノードへのルートが適切に設定されます。219台のIMX4カメラに対して2つのビデオノードが作成されます。コマンド「v4l2-ctl –list-devices」を実行すると、以下のようにすべてのVXNUMXLXNUMXビデオデバイスが表示されます。

Texas Instruments AM6x 複数カメラの開発図 (9)

tiscsi6rx には 1 つのビデオノードと 2 つのメディアノードがあります。各ビデオノードは、CSI2 RX ドライバによって割り当てられた DMA コンテキストに対応しています。6 つのビデオノードのうち 4 つは、以下のメディアパイプトポロジに示すように、4 台の IMX219 カメラに使用されます。

Texas Instruments AM6x 複数カメラの開発図 (10)

上図に示すように、メディアエンティティ30102000.ticsi2rxには6つのソースパッドがありますが、使用されるのは最初の4つだけで、それぞれIMX219がXNUMXつずつあります。メディアパイプのトポロジーはグラフィカルに図示することもできます。ドットを生成するには、次のコマンドを実行します。 file:

Texas Instruments AM6x 複数カメラの開発図 (11)

次にLinuxホストPCで以下のコマンドを実行してPNGを生成します。 file:Texas Instruments AM6x 複数カメラの開発図 (12)

図4-2は、上記のコマンドを使用して生成された図です。図3-1のソフトウェアアーキテクチャのコンポーネントがこのグラフに示されています。

Texas Instruments AM6x 複数カメラの開発図 (13)

4台のカメラからのストリーミング
ハードウェアとソフトウェアの両方が適切に設定されていれば、複数カメラアプリケーションをユーザー空間から実行できます。AM62Aでは、良好な画質を得るためにISPをチューニングする必要があります。ISPチューニングの方法についての詳細は、AM6xA ISPチューニングガイドを参照してください。以下のセクションでは、例を示します。ampカメラデータをディスプレイにストリーミングし、ネットワークにストリーミングし、カメラデータを保存する files.

カメラデータをストリーミングして表示する
このマルチカメラシステムの基本的な用途は、すべてのカメラからのビデオを同じSoCに接続されたディスプレイにストリーミングすることです。以下はGStreamerパイプラインの例です。amp219 つの IMX4 をディスプレイにストリーミングする例 (パイプラインのビデオ ノード番号と vXNUMXl-subdev 番号は、再起動ごとに変更される可能性があります)。

Texas Instruments AM6x 複数カメラの開発図 (14) Texas Instruments AM6x 複数カメラの開発図 (15)

イーサネット経由でカメラデータをストリーミング
同じSoCに接続されたディスプレイにストリーミングする代わりに、カメラデータをイーサネット経由でストリーミングすることもできます。受信側は、別のAM62A/AM62PプロセッサまたはホストPCのいずれかになります。以下は例です。ampイーサネット経由でカメラ データをストリーミングするファイル (簡単にするために 2 台のカメラを使用) (パイプラインで使用されるエンコーダ プラグインに注意してください):

Texas Instruments AM6x 複数カメラの開発図 (16)

以下は例ですampカメラデータを受信して​​別の AM62A/AM62P プロセッサのディスプレイにストリーミングする例:

Texas Instruments AM6x 複数カメラの開発図 (17)

カメラデータの保存 Files
ディスプレイやネットワーク経由でストリーミングする代わりに、カメラのデータはローカルに保存できます。 file以下のパイプラインは各カメラのデータを file (2台のカメラを例に挙げて)amp(簡潔にするために、le と表記します)。

Texas Instruments AM6x 複数カメラの開発図 (18)Texas Instruments AM6x 複数カメラの開発図 (19)

マルチカメラディープラーニング推論

AM62Aは、最大7つのTOPSを備えたディープラーニングアクセラレータ(C62x-MMA)を搭載しており、分類、物体検出、セマンティックセグメンテーションなど、様々なディープラーニングモデルを実行できます。このセクションでは、AMXNUMXAがXNUMXつの異なるカメラフィードに対してXNUMXつのディープラーニングモデルを同時に実行する様子を紹介します。

モデルの選択
TIのEdgeAI-ModelZooは、数百もの最先端のモデルを提供します。これらのモデルは、元のトレーニングフレームワークから組み込み対応フォーマットに変換/エクスポートされ、C7x-MMAディープラーニングアクセラレータにオフロードできます。クラウドベースのEdge AI Studioモデルアナライザは、使いやすい「モデル選択」ツールを提供します。このツールは、TI EdgeAI-ModelZooでサポートされているすべてのモデルを含むように動的に更新されます。このツールは事前の経験を必要としません。使いやすいインターフェースで、目的のモデルに必要な特徴量を入力できます。

このマルチカメラディープラーニング実験には、TFL-OD-2000-ssd-mobV1-coco-mlperfが選択されました。このマルチオブジェクト検出モデルは、TensorFlowフレームワークで開発されており、入力解像度は300×300です。表4-1は、約80の異なるクラスを含むcCOCOデータセットで学習させた場合のこのモデルの重要な特徴を示しています。

表 4-1. モデル TFL-OD-2000-ssd-mobV1-coco-mlperf の主な機能。

モデル タスク 解決 FPs mAP 50%

COCOの精度

レイテンシ/フレーム(ミリ秒) DDR帯域幅

使用率(MB/フレーム)

TFL-OD-2000-ssd-

mobV1-coco-mlperf

複数物体検出 300×300 〜152 15.9 6.5 18.839

パイプラインのセットアップ
図4-3は、4台のカメラによるディープラーニングGStreamerパイプラインを示しています。TIは、GStreamerスイートを提供しています。 plugins メディア処理とディープラーニング推論の一部をハードウェアアクセラレータにオフロードできる。ampこれらのファイル plugins tiovxisp、tiovxmultiscaler、tiovxmosaic、tidlinfererが含まれます。図4-3のパイプラインには、必要なすべてのものが含まれています。 plugins 4台のカメラ入力に対応するマルチパスGStreamerパイプラインで、それぞれメディア前処理、ディープラーニング推論、後処理を実行する。 plugins 各カメラパスは、わかりやすい説明のためにグラフに積み重ねられています。
利用可能なハードウェアリソースは、62つのカメラパスに均等に配分されます。例えば、AM0AにはMSC1とMSC0という1つの画像マルチスケーラーが搭載されています。パイプラインは、MSC2をカメラ1とカメラ3のパスの処理専用に、MSC4をカメラXNUMXとカメラXNUMXのパスの処理専用に明示的に割り当てています。

Texas Instruments AM6x 複数カメラの開発図 (21)

4台のカメラパイプラインの出力は、tiovxmosaicプラグインを使用して縮小・連結されます。出力は4つの画面に表示されます。図30-120は、ディープラーニングモデルで物体検出を実行したXNUMX台のカメラの出力を示しています。各パイプライン(カメラ)はXNUMXfpsで動作し、合計XNUMXfpsで動作します。

Texas Instruments AM6x 複数カメラの開発図 (22)

次は、図 4-3 に示すマルチカメラ ディープラーニング ユースケースの完全なパイプライン スクリプトです。

Texas Instruments AM6x 複数カメラの開発図 (23) Texas Instruments AM6x 複数カメラの開発図 (24)

パフォーマンス分析

V3LinkボードとAM62A SKを使用した4台のカメラのセットアップは、画面への直接表示、イーサネット経由のストリーミング(XNUMXつのUDPチャネル)、XNUMXつの別々のストレージへの録画など、さまざまなアプリケーションシナリオでテストされました。 filesとディープラーニング推論を組み合わせたシステムです。各実験では、フレームレートとCPUコアの使用率を監視し、システム全体の能力を調査しました。

図4-4に示したように、ディープラーニングパイプラインはtiperfoverlay GStreamerプラグインを使用して、CPUコアの負荷を画面下部に棒グラフで表示します。デフォルトでは、グラフはXNUMX秒ごとに更新され、負荷を利用率(パーセント)で表示します。tage. tiperfoverlay GStreamerプラグインに加えて、perf_statsツールは、コアパフォーマンスをターミナルに直接表示し、ファイルに保存するオプションを備えた2番目のオプションです。 fileこのツールは、tTiperfoverlayよりも精度が高いです。tTiperfoverlayはグラフを描画して画面にオーバーレイするためにARMmコアとDDRに余分な負荷をかけるためです。perf_statsツールは、主にこのドキュメントで示されているすべてのテストケースにおけるハードウェア使用率の結果を収集するために使用されます。これらのテストで調査された重要なプロセッシングコアとアクセラレータには、メインプロセッサ(53つのA1.25 Armコア @ 7GHz)、ディープラーニングアクセラレータ(C850x-MMA @ 0MHz)、VISSとマルチスケーラ(MSC1とMSCXNUMX)を備えたVPAC(ISP)、およびDDR演算などがあります。

表5-1は、AM62AをXNUMX台のカメラと使用し、XNUMX台のカメラをディスプレイにストリーミング、イーサネット経由でストリーミング、XNUMX台の別々のデバイスに録画するXNUMXつのユースケースでのパフォーマンスとリソース使用率を示しています。 file各ユース ケースには、カメラのみとディープ ラーニング推論の 5 つのテストが実装されています。また、表 1-62 の最初の行には、ユーザー アプリケーションなしでオペレーティング システムのみが AM30A 上で実行されている場合のハードウェア使用率が表示されています。これは、他のテスト ケースのハードウェア使用率を評価するときに比較するための基準として使用されます。表に示すように、ディープ ラーニングと画面表示を備えた 120 台のカメラはそれぞれ 86 FPS で動作し、7 台のカメラの合計は 850 FPS でした。この高いフレーム レートは、ディープ ラーニング アクセラレータ (C1000x-MMA) の全能力の 85% で達成されています。さらに、これらの実験ではディープ ラーニング アクセラレータのクロックが XNUMX MHz ではなく XNUMX MHz で実行されていたことにも注意が必要です。これは、最大パフォーマンスの約 XNUMX% にすぎません。

表5-1. AM62Aを4台のIMX219カメラと併用し、画面表示、イーサネットストリーミング、録画を行った場合の性能(FPS)とリソース使用率 File深層学習推論の実行

アプリケーション n パイプライン(オペレーション

)

出力 FPs 平均パイプライン秒数 FPs

合計

MPU A53s @ 1.25

GHz [%]

MCU R5 [%] DLA(C7x-MMA)@850

MHz [%]

VISS [%] MSC0 [%] MSC1 [%] 東ドイツ

ロード [MB/秒]

東ドイツ

書き込み [MB/秒]

東ドイツ

合計[MB/秒]

アプリなし ベースライン 操作なし NA NA NA 1.87 1 0 0 0 0 560 19 579
カメラ のみ ストリーム スクリーンへ 画面 30 120 12 12 0 70 61 60 1015 757 1782
イーサネット経由のストリーミング UDP:4

ポート 1920×1080

30 120 23 6 0 70 0 0 2071 1390 3461
記録 に files 4 file1920×1080 30 120 25 3 0 70 0 0 2100 1403 3503
カム ディープラーニングで ディープラーニング:物体検出MobV1-coco 画面 30 120 38 25 86 71 85 82 2926 1676 4602
ディープラーニング:物体検出MobV1-cocoとEthernet経由のストリーム UDP:4

ポート 1920×1080

28 112 84 20 99 66 65 72 4157 2563 6720
ディープラーニング: 物体検出MobV1-cocoと記録 files 4 file1920×1080 28 112 87 22 98 75 82 61 2024 2458 6482

まとめ
このアプリケーションレポートでは、AM6xファミリーデバイスにマルチカメラアプリケーションを実装する方法について説明します。ArducamのV3LinkカメラソリューションキットとAM62A SK EVMをベースにしたリファレンスデザインが提供されており、ストリーミングや物体検出など、219台のIMX3カメラを使用した複数のカメラアプリケーションが紹介されています。ArducamからVXNUMXLinkカメラソリューションキットを入手し、これらの例を再現することをお勧めします。ampこのレポートでは、AM62AをXNUMX台のカメラで使用し、画面への表示、イーサネット経由のストリーミング、録画など、様々な設定で使用した場合のパフォーマンスの詳細な分析も提供しています。 fileまた、AM62AはXNUMXつのカメラストリームに対して同時にディープラーニング推論を実行できることも示しています。これらの例の実行についてご質問がある場合は、amp問題が解決しない場合は、TI E2E フォーラムに問い合わせてください。

参考文献

  1. AM62A スターターキット EVM クイックスタートガイド
  2. ArduCam V3Link カメラソリューション クイックスタートガイド
  3. AM62A の Edge AI SDK ドキュメント
  4. エネルギー効率の高いAM62Aプロセッサを搭載したエッジAIスマートカメラ
  5. AM62Aのカメラミラーシステム
  6. AM62Aのドライバーおよび乗員監視システム
  7. サラウンド用クアッドチャンネルカメラアプリケーション View CMSカメラシステム
  8. AM62Ax Linux AcademyによるCIS-2センサーの有効化
  9. エッジAIモデルズー
  10. エッジAIスタジオ
  11. Perf_statsツール

このアプリケーションノートで参照されているTI部品:

重要なお知らせと免責事項

TI は、技術データおよび信頼性データ (データ シートを含む)、設計リソース (参照設計を含む)、アプリケーションまたはその他の設計アドバイスを提供します。 WEB ツール、安全性情報、およびその他のリソースは「現状有姿」であり、すべての欠陥があり、商品性、特定の目的への適合性、または第三者の権利の非侵害の黙示の保証を含むがこれらに限定されない、明示および黙示のすべての保証を否認します。 。

これらのリソースは、TI製品を使用して設計する熟練した開発者を対象としています。

  1. アプリケーションに適したTI製品を選択する
  2. アプリケーションの設計、検証、テスト、および
  3. アプリケーションが適用可能な標準およびその他の安全性、セキュリティ、規制、またはその他の要件を満たしていることを確認します。

これらのリソースは予告なく変更される場合があります。TIは、これらのリソースを、リソースに記載されているTI製品を使用するアプリケーションの開発にのみ使用することを許可します。その他の目的でのこれらのリソースの複製および表示は禁止されています。TIのその他の知的財産権または第三者の知的財産権に対するライセンスは付与されません。TIは、これらのリソースの使用に起因するいかなる請求、損害、費用、損失、および責任についても責任を負いません。お客様は、TIおよびその代理人に対し、これらの請求、損害、費用、損失、および責任について一切の補償を行うものとします。

TI の製品は、TI の販売条件、または以下のいずれかで入手可能なその他の適用条件に従って提供されます。 ti.com またはそのような TI 製品と共に提供されます。 TI によるこれらのリソースの提供は、TI 製品に対する TI の適用される保証または保証免責事項を拡張または変更するものではありません。

TI は、お客様が提案した追加または異なる条件に反対し、拒否します。

重要なお知らせ

  • 郵送先住所:Texas Instruments、Post Office Box 655303、Dallas、Texas 75265
  • Copyright©2024、Texas Instruments Incorporated

よくある質問

Q: AM6x ファミリーのデバイスでは、どのタイプのカメラでも使用できますか?

AM6xファミリーは、ISP内蔵カメラやISP非内蔵カメラなど、様々なカメラタイプをサポートしています。サポートされるカメラタイプの詳細については、仕様書をご覧ください。

: 画像処理における AM62A と AM62P の主な違いは何ですか?

主な違いとしては、サポートされるカメラの種類、カメラ出力データ、ISP HWA、ディープラーニングHWA、3DグラフィックスHWAの有無などが挙げられます。詳細な比較については、仕様セクションをご覧ください。

 

ドキュメント / リソース

テキサス・インスツルメンツ AM6x マルチカメラを開発中 [pdf] ユーザーガイド
AM62A、AM62P、AM6x 複数カメラの開発、AM6x、複数カメラの開発、複数カメラ、カメラ

参考文献

コメントを残す

あなたのメールアドレスは公開されません。 必須項目はマークされています *