×
ロボット、スマートカメラ、産業用ビジョン端末など、多くの組み込み機器は現在、AIビジョンアルゴリズムを実行するためにNPU（ニューラルプロセッシングユニット）を使用している。NPUとは、チップ内部に組み込まれた、AI推論専用のハードウェアユニットである。
チップを選ぶ際、多くのチームはまずNPU TOPS値に注目し、数値が高いほど高性能なチップだと考えがちです。しかし実際には、製品開発において典型的な問題が2つ発生します。
まず一つ目は、処理能力の不足です。このデバイスはフレームレートが低く、動画が途切れ途切れになったり、複数のカメラが同時に動作するとフレーム落ちが発生したり、AIによる認識が失敗することがあります。
2つ目は、過剰な処理能力です。チップは高価で、消費電力も多く、かなりの熱を発生します。使われていない処理能力は利益率を低下させます。
重要なエンジニアリング上の考慮事項として、多くの組み込みビジョンプロジェクトでは、パフォーマンスはNPUの演算能力ではなく、画像転送、メモリ帯域幅、またはCPUベースの下流処理によって制限されるという点が挙げられる。
コンピューティングプランニングには、長々とした専門用語は必要ありません。2つの重要な概念を区別することで、チップ仕様が誤解を招くのを防ぐことができます。
チップベンダーが公表するTOPS値は、理論上の最大演算性能、つまり理想的な実験室条件下でNPUがフルロード時に達成できる最大処理能力を表します。製品設計には余裕が必要なため、最大性能をそのままサイジングに用いることはできません。
AIモデルの計算負荷を評価するためにGMACを使用します。MACは基本的な乗算加算演算であり、GMACは10億回の乗算加算演算を表します。これはモデルにおける計算量を測定するものです。GMACは計算負荷を測定するのに対し、GMAC/sはスループットを測定することに注意してください。モデルが大きいほど、GMACの値は高くなります。
NPU利用率は固定値ではありません。これは、NPU容量のうち、有効な計算に使用される割合を表します。VIOフロントエンドや軽量検出モデルなどの単純な畳み込みネットワークでは、シンプルな演算子と徹底したチップ最適化により、60%～80%の利用率を実現できます。複雑な変換やTransformerブロックを含むモデルでは、タイル状の実行を繰り返す必要があり、利用率が20%以下に低下する可能性があります。
利用率を40%に固定することは、不正確な見積もりの主な原因となります。解像度もワークロードに直接影響します。入力画像の幅と高さを2倍にすると、面積は4倍になり、同じモデルでも計算量はほぼ4倍になります。
TOPSはあくまでハードウェアの上限値です。まずはモデルのGMACワークロードに基づいて計算能力の見積もりを行い、開発ボード上での測定値と照らし合わせて調整してください。理論上の最大性能だけを基準にチップを選定しないでください。
計算要件を見積もる前に、製品のワークロードをマッピングしてください。重要なのは、複数のカメラが並列推論を使用するか、時分割方式のラウンドロビン推論を使用するかという点です。これは、カメラの計算負荷の組み合わせ方を決定するからです。
並列モード：すべてのカメラが同時にAI推論を実行するため、それぞれの計算負荷が直接加算されます。例えば、4台のカメラで各チャンネルが毎秒30フレームのリアルタイム物体検出を実行するセキュリティデバイスの場合、4つのチャンネルすべての負荷が合算されます。
タイムシェアリングモード：NPUは共有ハードウェアリソースであり、カメラ画像を順次処理します。キュー内のチャネルが順番に処理されるため、一度に1つのチャネルずつ処理されます。Rockchip RKプラットフォーム上の多くのマルチカメラビジョン実装では、この方式が採用されています。
作業負荷を定義する際には、以下の情報を収集してください。
各カメラの解像度とフレームレート。
AIモデル一覧：どのモデルがNPU上で実行され、どの後処理タスクがCPU上で実行されるかを示します。
量子化精度：INT8は推論効率が高いため、組み込み機器において主流の選択肢となっています。
トリガー方式：毎フレームの継続的なAI処理、またはトリガー条件が満たされた場合にのみ複雑なアルゴリズムが開始されるイベントトリガー方式。
重要：モデルGMACは、経験に基づいて推定するのではなく、RKNNやONNX Runtimeなどのツールを使用してエクスポートしてください。大規模なYOLOモデルのワークロードを使用して軽量VIOネットワークのサイズを決定すると、計算要件を大幅に過大評価してしまう可能性があります。
当社MV11は、高性能Rockchip RK3576プロセッサをベースとした、4台のカメラによるハードウェア同期型ビジョン・慣性航法融合コンピューティングプラットフォームです。6 TOPSのNPUと4GBのLPDDR4メモリを搭載し、4台のカメラ間でマイクロ秒レベルの同期をサポートします。ロボットの認識・検出、VIO、SLAM、マルチカメラEGOデータ収集など、幅広い用途に適しています。上記で説明したボードレベルの演算、帯域幅、マルチチャネルスケジューリングテストのハードウェアプラットフォームとしても活用できます。プロジェクトの初期評価用にサンプルをご用意しており、導入をサポートするために完全なビジョンソリューションをカスタマイズすることも可能です。お問い合わせは[email protected]まで。
多くのプロジェクトでは、選定段階でNPU TOPSのみに注目し、ボードの立ち上げ時に、NPU容量の半分以上が利用可能であるにもかかわらず、システムが処理能力に追いつかないことに気づきます。以下は、組み込みビジョンにおける一般的なボトルネックです。
AI推論中、NPUはメモリから画像とモデルの重みを継続的に読み込み、中間特徴マップをメモリに書き戻します。これらの転送速度はDDR帯域幅によって決まります。帯域幅が不足すると、十分な演算能力を持つNPUであってもデータ待ちが発生し、フレームレートの向上を妨げます。RKプラットフォーム上のほとんどのマルチカメラプロジェクトでは、NPUの能力のごく一部しか使用されていないにもかかわらず、帯域幅が飽和状態になります。
画像バッファ、AIモデルの重み、中間特徴マップはすべてメモリを消費します。複数のチャネルが同時に動作すると、メモリ使用量は大幅に増加します。メモリ不足はアプリケーションをクラッシュさせる可能性があります。組み込みデバイスは一般的に仮想メモリを持たないため、メモリ不足（OOM）状態になるとデバイスが停止する可能性があります。
カメラで撮影した生画像は、トリミング、スケーリング、色空間変換などの前処理が必要です。これらの前処理の一部はISPハードウェアで行われ、一部はCPUリソースを使用します。マルチカメラ撮影では前処理の負荷が増大し、NPUがアイドル状態の時でもパイプライン全体に遅延が発生する可能性があります。
チップの公称最大TOPS値は、最大消費電力に対応します。ほとんどの組み込みデバイスはファンレス設計のため、NPUのフル負荷を長時間維持することはできません。理論上の演算能力が高くても、熱条件によって持続的な動作に利用できる能力が制限されます。
AIモデルにNPUで高速化できない特殊な演算子が含まれている場合、それらはCPUで実行されます。CPUでのAI処理は低速であり、NPUの処理能力が十分であってもパイプラインが著しく停止する可能性があります。プラットフォームを選択する前に、演算子の高速化サポートを確認してください。
1. ワークロードのベースラインと動作モードを確立します。AIパイプラインを定義します。解像度、フレームレート、チャネル数、トリガー戦略（継続的またはイベント駆動型）、並列実行または時分割実行、モデルリスト、およびデプロイメント精度を定義します。複数のチャネルのスケジューリング方法に特に注意してください。
2. モデルのワークロードを定量化し、GMAC/sをエクスポートします。ツールを使用して、各モデルのGMAC/sをエクスポートし、NPUアクセラレーションによる計算とCPUによる後処理を分離します。
3. ターゲットボード上で測定を行い、実行効率を判断します。RK3576やRK3588などの候補SoC上で、モデルをプラットフォーム形式に変換します。フレームごとの推論時間を測定して、そのNPU上でのモデルの実際のスループットを判断します。これは、紙面上の推定値の不一致を解消するための最も重要なステップです。すべての推定値は、一般的な計算式ではなく、ボードレベルの測定値に基づいて較正する必要があります。
4. マルチチャネルワークロードを集約し、システムボトルネックを評価します。通常の定常状態動作と、すべてのチャネルが同時にトリガーされる最悪のピーク状態の両方を評価します。DDR帯域幅とメモリ使用量を同時に確認します。多くのRKマルチカメラプロジェクトでは、計算能力は残っているものの、帯域幅が枯渇します。
5. 適切な余裕を確保し、制限を設定します。アルゴリズムがほぼ固定されている短期製品には1.1～1.2、モデル更新が見込まれる製品には1.3～1.4のマージンを使用します。余裕は、恣意的な過剰供給ではなく、モデルの進化、ピーク時のシナリオ、スケジューリングのオーバーヘッドをカバーするものでなければなりません。BOMコストと電力制限は同時に設定します。
6.1 チップTOPSのみを使用し、利用率を固定する
公表されているTOPS値に固定の40%利用率を適用すると、計算要件を数倍過大評価し、実際のエンジニアリング条件から大きく乖離する可能性があります。利用率はモデルやNPUアーキテクチャによって大きく異なります。
6.2 チャンネル数を乗算し、タイムシェアリングを無視する
時分割動作では、NPUはチャネルを順番に処理し、その演算能力を再利用します。チャネル数に単一チャネルの演算要求を単純に掛け合わせると、要件を大幅に過大評価してしまい、過剰な性能で不必要に高価なチップになってしまう可能性があります。
6.3 NPUコンピューティングを評価するが、DDR帯域幅は無視する
マルチカメラビジョンプロジェクトでは、計算能力のボトルネックよりも帯域幅のボトルネックの方がはるかに多く発生します。NPUには十分な処理能力が残っていても、データ転送が追いつかず、フレームレートが制限されてしまうのです。マルチカメラプロジェクトでは、まず帯域幅を評価する必要があります。
6.4 平均負荷を考慮し、過渡的なピークを無視する
製品はほとんどの場合低負荷で動作しますが、すべてのカメラが同時にAIを起動すると、一時的に負荷が急増することがあります。設計ではこれらのピークに対応する必要がありますが、タスクキューによって一時的な需要を平準化できるため、チップのサイズを必ずしもピーク時の演算需要に合わせて直接決定する必要はありません。
6.5 カウントのみのモデル計算とシステムオーバーヘッドの無視
多くの見積もりでは、AIバックボーンのGMACのみを考慮しており、ISPの前処理、画像コピー、CPUの後処理は考慮されていません。NPUの処理能力が十分であっても、これらのオーバーヘッドによってエンドツーエンドの遅延が増加し、期待されるフレームレートが達成されなくなります。
カメラのすべてのパラメータ（解像度、フレームレート、チャンネル数）を一覧表示してください。各チャンネルが並列スケジューリングを使用しているか、時分割スケジューリングを使用しているかを確認してください。
各モデルのGMACをエクスポートし、NPUによる計算とCPUによる後処理を区別する。
候補となるプラットフォーム上で単一モデルの推論時間を測定し、実際の実行効率を確立する。
複数のチャネルのワークロードを集約し、定常状態およびピーク状態におけるNPUの計算利用率を評価する。
DDR帯域幅とメモリ使用量を測定し、帯域幅がボトルネックになっているかどうかを判断します。
モデル演算子を検証し、NPUハードウェアアクセラレーションのサポートを確認して、CPUへのフォールバックを回避します。
製品アップデートロードマップに従ってコンピューティング能力の余裕を確保し、部品表のコストと電力制限を設定します。
複数のチャンネルを同時にトリガーとして、長時間のストレステストを実行します。フレームレートの変動や、メモリ不足によるクラッシュを確認します。
組み込みビジョン向けNPUの容量選定は、TOPS式を適用するだけの単純な数学的計算ではありません。紙面上の概算値は、あくまで初期計画の参考値に過ぎません。最終的な検証は、対象チップの開発ボード上で実施する必要があります。
完全な評価は次の順序で行われます。計算がボトルネックであるかどうかを判断する → 並列または時分割スケジューリングを確認する → モデルGMACを測定する → DDR帯域幅評価を優先する → ボードレベルのテストを通じて調整する → 適切な計算ヘッドルームを確保する。
目標は、性能、消費電力、コストのバランスを取ることです。NPU TOPSのピーク値を際限なく高めるのではなく、タスクに必要な容量を適切に選択することが重要です。
当社MV11は、高性能Rockchip RK3576プロセッサをベースとした、4台のカメラによるハードウェア同期型ビジョン・慣性航法融合コンピューティングプラットフォームです。6 TOPSのNPUと4GBのLPDDR4メモリを搭載し、4台のカメラ間でマイクロ秒レベルの同期をサポートします。ロボットの認識・検出、VIO、SLAM、マルチカメラEGOデータ収集など、幅広い用途に適しています。上記で説明したボードレベルの演算、帯域幅、マルチチャネルスケジューリングテストのハードウェアプラットフォームとしても活用できます。プロジェクトの初期評価用にサンプルをご用意しており、導入をサポートするために完全なビジョンソリューションをカスタマイズすることも可能です。お問い合わせは[email protected]まで。
最新ニュース2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
