マルチカメラAIビジョンシステムには、どの程度のDDRメモリ容量が必要か？（RK3576選定表付き）

AIビジョン応用分野の急速な進展に伴い、ステレオカメラ、4カメラ、さらにはそれ以上のチャンネル数を備えたマルチカメラソリューションが、データ収集、セキュリティ監視、産業検査、ロボットの環境認識、エッジコンピューティングなど、さまざまな用途で広く採用されています。しかし、ハードウェア選定の段階で多くのプロジェクトが陥りがちな共通の落とし穴があります。それは、チップの演算性能にのみ注目し、メモリ構成を軽視してしまうことです。その結果、フレームドロップ、AI推論の遅延、システムクラッシュといった問題が生じてしまいます。

DDRメモリ容量は、常に大きいほど良いのでしょうか？性能と安定性という観点からは、確かにそう言えます。しかし、そのデメリットも明らかです。特に最近のDDR価格高騰を背景に、コスト負担が大きく、予算への影響は無視できません。したがって、実際のプロジェクト要件とコストのバランスを慎重に検討することが、最適なソリューション選定において極めて重要となります。

では、DDR容量の決定で最もよく見られる落とし穴について見てみましょう： 通常時はメモリ使用量が低く見える場合でも、複数のタスクが同時に実行されるバースト状態では、ピーク値まで急増し、システムクラッシュを直接引き起こすことがあります。多くのチームでは、ハードウェア評価に平均メモリ消費量を用いています。広く使われているAR0234センサを例に挙げると、単一の1080pカメラは待機時（アイドル時）には比較的少ないメモリしか消費しません。しかし、撮影→ISP処理→AI推論→エンコーディングというフルパイプラインを実行すると、チャンネルあたりのピークメモリ使用量は数十MBに達します。4Kカメラでは、チャンネルあたりのピーク使用量が100MBを超える場合もあります。また、ごく一般的なHTTPリクエストひとつでも、接続あたり数MBのメモリを消費します。こうした個別のオーバーヘッドはそれぞれ小さく見えますが、複数のカメラやタスクが同時に起動すると、合計値は急速に膨らみます。その結果、OOM（メモリ不足）が発生し、プロセスが強制終了され、システム全体が停止するおそれがあります。

マルチカメラAIビジョンシステムにおけるメモリ消費の主な要因は？

エッジビジョンデバイスのメモリは、AIモデル専用ではなく、画像取得、前処理、AI推論、システムサービス、アプリケーションワークロードなど、複数の処理で共有されています。カメラチャネルを追加するごとに、メモリオーバーヘッドが増加します。

1. イメージバッファ（オーバーヘッドの最大要因） 各カメラから出力される生画像、YUVフレーム、スケール済みフレームがメモリを消費します。AR0234センサを1080p／30fpsで動作させた場合、1フレームのYUVデータだけで数MBを占めます。フレームドロップを防ぐため、システムではマルチフレームのリングバッファを維持しており、これによりさらにメモリ使用量が増加します。また、オリジナル画像に加え、サムネイルや切り抜きフレームなど複数の画像バリエーションを生成すると、さらに多くのフレームバッファが必要になります。複数台のカメラが同時ストリーミングを行うと、メモリ使用量はその分だけ乗算的に増大します。

2. ISPおよび画像前処理によるオーバーヘッド ISPは、ノイズ低減、色補正、歪み補正、回転、クロッピング、フォーマット変換を実行する独立したハードウェアアクセラレータです。ISPには大容量のフレームストレージはなく、限られたオンチップキャッシュのみが搭載されています。このため、多くの処理では一時バッファをDDR上に確保する必要があります。カメラチャネル数が増えると、ISPの負荷が高まり、DDRの容量要件も高くなります。

3. AIモデル推論用メモリ AI推論では、メモリを2つの部分で消費します。1つ目はモデルの重み（ウェイト）で、パラメータ数が大きいほどメモリ使用量が増えます。幸いなことに、これらの重みはモデル初期化時に1度だけ読み込まれるため、実行中にカメラチャネル数やシーン数が増えても、そのメモリ使用量は増加しません。

推論実行時のメモリ使用量は影響を受けませんか？まったく影響を受けません。これにより、2つ目の要素——推論中に生成される中間特徴バッファ——に話が及びます。各カメラチャネルには専用の計算バッファが必要であり、その結果、合計メモリ使用量が増加します。複数カメラ間で同期されたAI推論を実行するには、複数の独立した計算バッファが必要です。したがって、チャネル数が増えれば増えるほど、推論バッファによるメモリオーバーヘッドも高くなります。

4．システム・ドライバー・ミドルウェアのオーバーヘッド 当社のRK3576ビジョンソリューションを例に挙げます。ベースとなるシステムメモリは、Linuxカーネル、RKメディアドライバー、RKMPPメディアフレームワーク、NPUドライバー、システムログ、および実行中のプロセスによって消費されます。多カメラ構成では、メディアフレームワークおよび動画エンコーディング（H.264／H.265録画）が大幅なメモリ負荷を引き起こします。さらに、マルチチャネルエンコーディングおよび録画を有効化すると、メモリ負荷が急激に増加します。

重要な注意点：ここで言及しているのは作業用メモリ（DDR RAM）であり、eMMCストレージではありません。eMMCはエンコード済みの動画ファイルのみを保存します。

5.用途 -レイヤー別ビジネスメモリ アプリケーションロジック（推論結果の解析、複数対象物の追跡、データ報告、ローカルキャッシュ、スナップショット保存など）がメモリを消費します。例えば、追跡アルゴリズムでは、複数フレーム分の対象物データを保存します。カメラ台数や追跡対象物の数が増えると、データセットが大きくなり、アプリケーションレベルでのメモリ使用量も増加します。

RK3576プラットフォームにおける実用的なメモリ性能

RK3576は、6 TOPSのNPU性能を備えた国内主流のエッジAIプロセッサであり、マルチカメラAIビジョン展開に最適です。当社では、1～6チャンネルのカメラに対応する複数の成熟した量産製品を展開しており、さまざまなプロジェクト要件に柔軟に対応できます。量産向けの標準構成は4 GB DDRですが、ワークロードに応じて他のDDR容量もサポートしています。

以下の表は、市場で一般的な1080p～4Kカメラセンサーに適用されます：

適切なメモリ構成が不明な場合は、[email protected] までお問い合わせください。カメラのチャンネル数、解像度、ビジネスロジック、実行時のワークロードに基づき、カスタマイズされたソリューション評価をご提供します。