×
Viele eingebettete Geräte – darunter Roboter, intelligente Kameras und industrielle Visionsterminals – nutzen heute NPUs, um KI-Vision-Algorithmen auszuführen. Eine NPU ist eine Hardware-Einheit innerhalb eines Chips, die speziell für KI-Inferenz ausgelegt ist.
Bei der Auswahl eines Chips betrachten viele Teams zunächst dessen NPU-TOPS-Wert und gehen davon aus, dass eine höhere Zahl einen leistungsstärkeren Chip bedeutet. In der Praxis treten bei der Produktentwicklung jedoch zwei typische Probleme auf:
Das erste Problem ist unzureichende Rechenkapazität. Das Gerät arbeitet mit einer niedrigen Bildfrequenz, das Video ruckelt, Einzelbilder werden verworfen, sobald mehrere Kameras gleichzeitig betrieben werden, und die KI-Erkennung kann fehlschlagen.
Der zweite Punkt ist eine übermäßige Rechenkapazität. Der Chip ist teuer, verbraucht mehr Strom und erzeugt erhebliche Wärme. Unausgenutzte Rechenkapazität verringert die Gewinnmargen.
Ein zentrales ingenieurtechnisches Kriterium ist, dass bei vielen Embedded-Vision-Projekten die Leistung durch Bildübertragungen, Speicherbandbreite oder CPU-basierte nachgeschaltete Verarbeitung begrenzt wird – nicht jedoch durch die Rechenkapazität der NPU.
Die Planung der Rechenleistung erfordert keine lange Liste technischer Begriffe. Die Unterscheidung zwischen zwei zentralen Konzepten hilft dabei, irreführende Angaben in den Chip-Spezifikationen zu vermeiden.
Die von Chip-Herstellern angegebene TOPS-Zahl stellt die theoretische Spitzenrechenleistung dar: die maximale Verarbeitungsleistung, die eine NPU unter idealen Laborbedingungen bei vollständiger Auslastung erreichen kann. Produkt-Designs benötigen Spielraum; daher darf die Spitzenleistung nicht direkt für die Dimensionierung herangezogen werden.
Wir verwenden GMAC, um die Rechenlast eines KI-Modells zu bewerten. Ein MAC ist eine grundlegende Multiplikations-Akkumulations-Operation, und GMAC steht für eine Milliarde solcher Operationen. Es misst die Rechenmenge in einem Modell. Beachten Sie, dass GMAC die Last misst, während GMAC/s den Durchsatz misst. Größere Modelle weisen höhere GMAC-Werte auf.
Die NPU-Auslastung ist keine feste Konstante. Sie stellt den Anteil der NPU-Kapazität dar, der für effektive Berechnungen genutzt wird. Bei einfachen Faltungsschaltungen, wie z. B. VIO-Frontends oder leichten Erkennungsmodellen, können einfache Operatoren und umfassende Chip-Optimierungen eine Auslastung von 60 % bis 80 % ergeben. Modelle mit komplexen Transformationen oder Transformer-Blöcken erfordern möglicherweise wiederholte gekachelte Ausführungen, wodurch die Auslastung auf 20 % oder sogar weniger sinkt.
Die Anwendung einer festen Auslastungsrate von 40 % ist eine wesentliche Ursache für ungenaue Schätzungen. Auch die Auflösung wirkt sich direkt auf die Rechenlast aus: Eine Verdopplung sowohl der Breite als auch der Höhe des Eingabebilds vervierfacht dessen Fläche und erhöht die erforderliche Rechenleistung für dasselbe Modell annähernd um den Faktor vier.
TOPS stellt lediglich die Hardware-Obergrenze dar. Beginnen Sie Schätzungen der Rechenleistung mit der GMAC-Rechenlast des Modells und kalibrieren Sie diese anhand von Messungen auf einer Entwicklungsplatine. Wählen Sie einen Chip nicht allein anhand seiner theoretischen Spitzenleistung aus.
Bevor Sie die Rechenanforderungen schätzen, ermitteln Sie zunächst die Gesamtlast des Produkts. Entscheidend ist der Unterschied, ob mehrere Kameras parallel oder zeitgeteilt im Round-Robin-Verfahren inferenzieren – denn dies bestimmt, wie sich ihre jeweiligen Rechenanforderungen zusammensetzen.
Parallelbetrieb: Alle Kameras führen die KI-Inferenz gleichzeitig aus, sodass sich ihre Rechenanforderungen direkt addieren. Ein Beispiel hierfür ist ein Sicherheitsgerät mit vier Kameras, das in Echtzeit Objekterkennung mit 30 Bildern pro Sekunde pro Kanal durchführt und dabei die Last aller vier Kanäle kombiniert.
Zeitgeteilter Betrieb: Die NPU ist eine gemeinsam genutzte Hardware-Ressource, die Kamerabilder sequenziell verarbeitet, wobei jeweils nur ein Kanal nacheinander abgearbeitet wird – die Kanäle wechseln sich in einer Warteschlange ab. Viele Mehrkamera-Vision-Implementierungen auf Rockchip-RK-Plattformen nutzen diesen Ansatz.
Erfassen Sie die folgenden Informationen bei der Definition der Arbeitslast:
Auflösung und Bildfrequenz für jede Kamera.
Liste der KI-Modelle: Welche Modelle auf der NPU laufen und welche Nachverarbeitungsaufgaben auf der CPU ausgeführt werden.
Quantisierungspräzision: INT8 ist eine gängige Wahl für eingebettete Geräte, da sie eine höhere Inferenz-Effizienz bietet.
Auslöseverfahren: kontinuierliche KI-Verarbeitung für jedes Einzelbild oder ereignisgesteuerte Ausführung, bei der komplexe Algorithmen erst dann starten, wenn eine Auslösebedingung erfüllt ist.
Wichtig: Exportieren Sie das Modell GMAC mithilfe von Tools wie RKNN oder ONNX Runtime – nicht durch Schätzung anhand von Erfahrungswerten. Die Verwendung der Rechenlast eines großen YOLO-Modells zur Abschätzung der Anforderungen an ein leichtgewichtiges VIO-Netzwerk kann die erforderliche Rechenleistung erheblich überschätzen.
Unser MV11 ist eine vier-Kamera-Hardware-synchronisierte Vision- und Trägheitsnavigation-Fusionsrechenplattform, basierend auf dem Hochleistungs-Prozessor Rockchip RK3576. Sie umfasst eine 6-TOPS-NPU und 4 GB LPDDR4-Speicher sowie Unterstützung für Mikrosekunden-genau synchronisierte Aufnahmen über vier Kameras. Geeignete Anwendungsfälle umfassen Robotererkennung und -detektion, VIO, SLAM sowie Mehrkamera-EGO-Datenerfassung. Sie eignet sich als Hardwareplattform für die oben beschriebenen Board-Level-Rechen-, Bandbreiten- und Mehrkanal-Scheduling-Tests. Muster stehen für frühe Projektbewertungen zur Verfügung; zudem können komplette Vision-Lösungen individuell angepasst werden, um den Einsatz zu unterstützen. Kontaktieren Sie uns unter [email protected].
Viele Projekte konzentrieren sich bei der Auswahl ausschließlich auf die NPU-TOPS-Zahl und stellen dann während des Board-Bring-ups fest, dass das System nicht mithalten kann, obwohl noch mehr als die Hälfte der NPU-Kapazität verfügbar ist. Die folgenden Einschränkungen sind häufig auftretende Engpässe in Embedded-Vision-Anwendungen.
Während der KI-Inferenz liest die NPU kontinuierlich Bilder und Modellgewichte aus dem Speicher und schreibt Zwischen-Ergebnisse (Feature Maps) wieder in den Speicher zurück. Die DDR-Bandbreite bestimmt die Geschwindigkeit dieser Datenübertragungen. Ist die Bandbreite unzureichend, muss selbst eine NPU mit ausreichender Rechenkapazität auf Daten warten, wodurch Verbesserungen der Bildrate verhindert werden. Bei den meisten Mehrkamera-Projekten auf RK-Plattformen ist die Bandbreite bereits erschöpft, während nur ein kleiner Teil der NPU-Kapazität genutzt wird.
Bildpuffer, KI-Modellgewichte und Zwischenmerkmalskarten beanspruchen alle Speicher. Der Speicherverbrauch steigt erheblich, wenn mehrere Kanäle gleichzeitig arbeiten. Unzureichender Speicher kann zum Absturz der Anwendung führen. Eingebettete Geräte verfügen im Allgemeinen über keinen virtuellen Speicher; daher kann eine Speicherüberlastung (OOM) zum vollständigen Stillstand des Geräts führen.
Rohbilder, die von Kameras aufgenommen werden, müssen zugeschnitten, skaliert und in einen anderen Farbraum konvertiert werden. Ein Teil dieser Vorverarbeitung erfolgt durch ISP-Hardware, ein anderer Teil beansprucht CPU-Ressourcen. Die Aufnahme mit mehreren Kameras erhöht den Vorverarbeitungsbedarf und kann selbst bei einer ungenutzten NPU Latenz entlang der gesamten Verarbeitungskette verursachen.
Die vom Chip angegebene Spitzen-TOPS-Leistung entspricht dem maximalen Stromverbrauch. Die meisten eingebetteten Geräte sind lüfterlos und können eine volle NPU-Auslastung nicht über längere Zeit aufrechterhalten. Selbst bei hoher theoretischer Rechenleistung begrenzen thermische Bedingungen die für einen Dauerbetrieb verfügbare Leistung.
Falls ein KI-Modell spezielle Operatoren enthält, die die NPU nicht beschleunigen kann, werden diese auf die CPU-Ausführung zurückgestellt. Die KI-Verarbeitung auf der CPU ist langsam und kann die Pipeline erheblich verlangsamen – selbst dann, wenn die NPU-Kapazität ausreichend ist. Überprüfen Sie vor der Plattformauswahl die Unterstützung der Operator-Beschleunigung.
1. Legen Sie die Arbeitslast-Basislinie und den Betriebsmodus fest. Definieren Sie die KI-Pipeline: Auflösung, Bildfrequenz, Kanalanzahl, Auslösestrategie (kontinuierlich oder ereignisgesteuert), parallele oder zeitgeteilte Ausführung, Modellliste und Bereitstellungspräzision. Achten Sie besonders darauf, wie mehrere Kanäle geplant werden.
2. Quantifizieren Sie die Modellarbeitslasten und exportieren Sie GMAC/s. Verwenden Sie Tools, um GMAC/s für jedes Modell zu exportieren, wobei die NPU-beschleunigte Berechnung von der CPU-Nachverarbeitung getrennt wird.
3. Messung auf der Zielplatine, um die Ausführungseffizienz zu bestimmen. Konvertieren Sie Modelle in das Plattformat auf geeigneten SoCs wie RK3576 oder RK3588. Messen Sie die Inferenzzeit pro Frame, um den tatsächlichen Durchsatz dieses Modells auf dieser NPU zu ermitteln. Dies ist der wichtigste Schritt zur Eliminierung von Abweichungen bei Schätzwerten aus wissenschaftlichen Publikationen: Alle Schätzungen müssen anhand von Messungen auf Platinenebene – nicht anhand allgemeiner Formeln – kalibriert werden.
4. Aggregieren Sie Mehrkanal-Workloads und analysieren Sie Systemengpässe. Bewerten Sie sowohl den normalen stationären Betrieb als auch den ungünstigsten Spitzenfall, bei dem alle Kanäle gleichzeitig ausgelöst werden. Prüfen Sie gleichzeitig die DDR-Bandbreite und die Speichernutzung. Bei vielen RK-Multikamera-Projekten ist die Bandbreite erschöpft, während noch Rechenkapazität verfügbar bleibt.
5. Reservieren Sie ausreichend Spielraum und legen Sie Grenzwerte fest. Verwenden Sie einen Faktor von 1,1 bis 1,2 für kurzfristige Produkte mit weitgehend festen Algorithmen und einen Faktor von 1,3 bis 1,4 für Produkte, bei denen Modellaktualisierungen erwartet werden. Der Spielraum soll die Modellentwicklung, Spitzenlastszenarien und den Scheduling-Overhead abdecken – nicht willkürliche Überdimensionierung. Legen Sie gleichzeitig die BOM-Kosten- und Leistungsgrenzwerte fest.
6.1 Nur Chip-TOPS und eine feste Auslastungsrate verwenden
Die Anwendung einer festen Auslastungsrate von 40 % auf die beworbene TOPS-Leistung kann die erforderliche Rechenleistung um ein Vielfaches überschätzen und erheblich von realen technischen Bedingungen abweichen. Die Auslastung variiert stark je nach Modell und NPU-Architektur.
6.2 Multiplikation mit der Kanalanzahl unter Vernachlässigung der Zeitteilung
Bei der zeitgeteilten Betriebsart verarbeitet die NPU Kanäle nacheinander, wobei ihre Rechenkapazität wiederverwendet wird. Eine einfache Multiplikation der Kanalanzahl mit dem Rechenbedarf pro Kanal kann den tatsächlichen Bedarf stark überschätzen und zu einem überdimensionierten, unnötig teuren Chip führen.
6.3 Bewertung der NPU-Rechenleistung unter Vernachlässigung der DDR-Bandbreite
Bandbreitenengpässe treten bei Mehrkamera-Visionprojekten weitaus häufiger auf als Rechenengpässe. Die NPU mag noch erhebliche ungenutzte Kapazität besitzen, doch die Datentransfers können nicht mithalten, was die Bildfrequenz begrenzt. Bei Mehrkamera-Projekten muss die Bandbreite daher zuerst bewertet werden.
6.4 Berücksichtigung der durchschnittlichen Last unter Vernachlässigung kurzfristiger Lastspitzen
Ein Produkt arbeitet möglicherweise meist bei geringer Last, erfährt aber kurzfristige Lastspitzen, wenn alle Kameras gleichzeitig KI-basierte Auswertungen auslösen. Das Design muss diese Spitzen bewältigen können; eine Aufgabenwarteschlange kann jedoch kurzfristige Lastschwankungen glätten, sodass der Chip nicht zwangsläufig direkt nach der maximalen Rechenlast bemessen werden muss.
6.5 Berücksichtigung ausschließlich der Modellberechnung unter Vernachlässigung des System-Overheads
Viele Schätzungen berücksichtigen ausschließlich die GMAC der KI-Backbone-Architektur und vernachlässigen die ISP-Vorverarbeitung, das Kopieren von Bildern sowie die CPU-Nachverarbeitung. Selbst bei ausreichender NPU-Kapazität erhöhen diese Overheads die End-to-End-Latenz und verhindern das Erreichen der erwarteten Bildrate.
Listen Sie alle Kameraparameter auf: Auflösung, Bildrate und Kanalanzahl. Prüfen Sie, ob die Kanäle eine parallele oder zeitgeteilte Planung verwenden.
Exportieren Sie die GMAC für jedes Modell und unterscheiden Sie die NPU-Berechnung von der CPU-Nachverarbeitung.
Messen Sie die Inferenzzeit pro Modell auf den in Frage kommenden Plattformen, um die tatsächliche Ausführungseffizienz zu ermitteln.
Fassen Sie Mehrkanal-Arbeitslasten zusammen und bewerten Sie die NPU-Rechenauslastung unter Dauerlast- und Spitzenlastbedingungen.
Messen Sie die DDR-Bandbreite und den Speicherverbrauch, um festzustellen, ob die Bandbreite zum Engpass wird.
Validieren Sie die Modell-Operatoren und bestätigen Sie die Hardware-Beschleunigungsunterstützung durch die NPU, um ein Zurückfallen auf die CPU zu vermeiden.
Reservieren Sie Rechenkapazität entsprechend der Produktaktualisierungs-Roadmap und legen Sie BOM-Kosten- und Leistungsgrenzen fest.
Führen Sie erweiterte Belastungstests mit gleichzeitigen Mehrkanal-Auslösungen durch. Prüfen Sie Schwankungen der Bildwiederholrate und Abstürze, die durch Speicherauslastung verursacht werden.
Die Dimensionierung der NPU-Kapazität für eingebettete Bildverarbeitung ist keine einfache mathematische Aufgabe, bei der lediglich eine TOPS-Formel angewandt wird. Schätzungen auf dem Papier dienen nur als früher Planungsbezug. Die endgültige Validierung muss auf der Entwicklungsplatine des Zielchips erfolgen.
Eine vollständige Bewertung folgt dieser Reihenfolge: Ermitteln Sie, ob die Rechenleistung die Engpasskomponente ist → bestätigen Sie parallele oder zeitgeteilte Planung → messen Sie die GMAC-Leistung des Modells → priorisieren Sie die Bewertung der DDR-Bandbreite → kalibrieren Sie mittels plattenspezifischer Tests → reservieren Sie eine angemessene Rechenkapazitätsreserve.
Ziel ist es, Leistung, Stromverbrauch und Kosten auszugleichen. Wählen Sie eine ausreichende Kapazität für die jeweilige Aufgabe aus, anstatt stets höhere Spitzen-NPU-TOPS-Werte anzustreben.
Unser MV11 ist eine vier-Kamera-Hardware-synchronisierte Vision- und Trägheitsnavigation-Fusionsrechenplattform, basierend auf dem Hochleistungs-Prozessor Rockchip RK3576. Sie umfasst eine 6-TOPS-NPU und 4 GB LPDDR4-Speicher sowie Unterstützung für Mikrosekunden-genau synchronisierte Aufnahmen über vier Kameras. Geeignete Anwendungsfälle umfassen Robotererkennung und -detektion, VIO, SLAM sowie Mehrkamera-EGO-Datenerfassung. Sie eignet sich als Hardwareplattform für die oben beschriebenen Board-Level-Rechen-, Bandbreiten- und Mehrkanal-Scheduling-Tests. Muster stehen für frühe Projektbewertungen zur Verfügung; zudem können komplette Vision-Lösungen individuell angepasst werden, um den Einsatz zu unterstützen. Kontaktieren Sie uns unter [email protected].
Aktuelle Nachrichten2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
