Wie viel DDR-Speicher benötigt ein Mehrkamera-KI-Visionssystem? (Mit RK3576-Auswahltabelle)

Mit dem rasanten Fortschritt von KI-Vision-Anwendungen wurden Mehrkamera-Lösungen (Stereo-, Vierkamera- und sogar noch mehr Kamerakanäle) breit in Szenarien wie Datenerfassung, Sicherheitsüberwachung, industrielle Inspektion, Roboterwahrnehmung und Edge-Computing eingesetzt. Bei der Hardwareauswahl geraten viele Projekte in eine häufige Falle: Sie konzentrieren sich ausschließlich auf die Rechenleistung des Chips und vernachlässigen dabei die Speicherkonfiguration. Dies führt letztlich zu Problemen wie Bildverlust, verzögerter KI-Inferenz und Systemabstürzen.

Ist mehr DDR-Speicher immer besser? Ja – aus Sicht von Leistung und Stabilität. Der Nachteil ist jedoch offensichtlich: hohe Kosten, insbesondere angesichts des jüngsten Preisanstiegs bei DDR-Speichern. Die Abwägung zwischen Kosten und den tatsächlichen Projektanforderungen wird daher entscheidend für die Auswahl der Lösung.

Betrachten wir die häufigste Falle bei der DDR-Dimensionierung: die Speicherauslastung kann unter normalen Bedingungen niedrig erscheinen, steigt jedoch während kurzer Phasen gleichzeitiger Aufgaben sprunghaft auf Spitzenwerte an und löst dadurch unmittelbar Systemabstürze aus. Viele Teams nutzen den durchschnittlichen Speicherverbrauch zur Hardwarebewertung. Nehmen wir als Beispiel den weit verbreiteten AR0234-Sensor: Eine einzelne 1080P-Kamera verbraucht im Leerlauf-Modus nur bescheidenen Speicher. Sobald jedoch die gesamte Verarbeitungspipeline – Erfassung, ISP, KI-Inferenz und Kodierung – läuft, kann der maximale Speicherverbrauch pro Kanal mehrere zehn MB erreichen. Bei einer 4K-Kamera kann der Spitzenverbrauch pro Kanal 100 MB überschreiten. Selbst eine gewöhnliche HTTP-Anfrage beansprucht pro Verbindung mehrere MB. Diese einzelnen Zusatzbelastungen wirken zwar gering, summieren sich jedoch rasch, sobald mehrere Kameras und Aufgaben gleichzeitig aktiv werden. Dies kann zu einem OOM-Fehler (Out-of-Memory) führen, wodurch Prozesse beendet und das System lahmgelegt wird.

Wo wird Speicher in Multi-Kamera-KI-Sehsystemen verbraucht?

Der Arbeitsspeicher auf Edge-Vision-Geräten wird nicht ausschließlich von KI-Modellen genutzt. Er wird gemeinsam genutzt von Bildaufnahme, Vorverarbeitung, KI-Inferenz, Systemdiensten und Anwendungsworkloads. Der Speicherverbrauch steigt mit jeder zusätzlichen Kamerakanal.

1. Bildpuffer (größte Quelle des Mehraufwands) Rohbilder, YUV-Frames und skalierte Frames, die von jeder Kamera ausgegeben werden, beanspruchen Arbeitsspeicher. Für einen AR0234-Sensor im Betrieb bei 1080P@30fps nimmt ein einzelner YUV-Frame mehrere MB in Anspruch. Um Frame-Drops zu vermeiden, verwaltet das System Mehr-Frames-Ringpuffer, was den Speicherbedarf weiter erhöht. Die Erzeugung mehrerer Bildvarianten (Original, Miniaturansicht, zugeschnittene Frames) erfordert zusätzliche Framepuffer. Der Speicherverbrauch vervielfacht sich, wenn mehrere Kameras gleichzeitig streamen.

2. ISP- und Bildvorverarbeitungsmehraufwand Der ISP ist ein unabhängiger Hardware-Beschleuniger, der Rauschunterdrückung, Farbkorrektur, Verzerrungskorrektur, Drehung, Zuschnitt und Formatkonvertierung durchführt. Der ISP verfügt nur über einen begrenzten On-Chip-Cache ohne großvolumigen Frame-Speicher. Daher müssen für viele Operationen temporäre Puffer im DDR-Speicher zugewiesen werden. Mehr Kamerakanäle bedeuten höhere ISP-Arbeitslasten und größere Anforderungen an die DDR-Kapazität.

3. Speicher für KI-Modell-Inferenz Die KI-Inferenz beansprucht Speicher in zwei Bereichen. Erstens die Modellgewichte: Größere Modellparameter führen zu höherem Speicherverbrauch. Glücklicherweise werden die Gewichte einmalig bei der Modellinitialisierung geladen; ihr Speicherbedarf wächst während des Betriebs nicht mit zunehmender Anzahl von Kamerakanälen oder Szenarien.

Wird der Arbeitsspeicher während der Laufzeitphase der Inferenz nicht beeinträchtigt? Keineswegs. Damit kommen wir zum zweiten Bestandteil: den Zwischenmerkmal-Puffern, die während der Inferenz erzeugt werden. Jeder Kamerakanal benötigt seinen eigenen Berechnungspuffer, was den gesamten Speicherverbrauch erhöht. Eine synchronisierte KI-Inferenz über mehrere Kameras hinweg erfordert mehrere unabhängige Berechnungspuffer. Daher führt eine höhere Anzahl von Kanälen zu einem höheren Speicheraufwand für die Inferenzpuffer.

4. System-, Treiber- und Middleware-Overhead Nehmen Sie als Beispiel unsere RK3576-Vision-Lösung. Der Basis-Systemspeicher wird vom Linux-Kernel, den RK-Medientreibern, dem RKMPP-Media-Framework, den NPU-Treibern, Systemprotokollen und laufenden Prozessen belegt. Bei Mehrkamera-Deployment belasten Medienframeworks und Video-Codierung (H.264 / H.265-Aufzeichnung) den Speicher erheblich. Die Aktivierung einer Mehrkanal-Codierung und -Aufzeichnung führt zu einem starken weiteren Anstieg des Speicherdrucks.

Wichtiger Hinweis: Damit ist der Arbeitsspeicher (DDR-RAM) gemeint, nicht der eMMC-Speicher. Der eMMC-Speicher dient ausschließlich zur Speicherung codierter Videodateien.

5.Anwendung -Schicht-Geschäfts-Speicher Die Anwendungslogik – inklusive der Analyse von Inferenzergebnissen, der Verfolgung mehrerer Objekte, der Datenberichterstattung, des lokalen Cachings und der Speicherung von Momentaufnahmen – beansprucht Speicher. Beispielsweise speichern Verfolgungsalgorithmen Ziel-Daten über mehrere Bildrahmen hinweg. Mehr Kameras und mehr verfolgte Objekte erzeugen größere Datensätze und erhöhen den Speicherverbrauch auf Anwendungsebene.

Praktische Speicherleistung auf der RK3576-Plattform

Der RK3576 ist ein gängiger heimischer Edge-AI-Prozessor mit einer NPU-Leistung von 6 TOPS und eignet sich daher hervorragend für den Einsatz von KI-basierter Bildverarbeitung mit mehreren Kameras. Unser Unternehmen bietet mehrere ausgereifte Serienprodukte mit 1 bis 6 Kamerakanälen an, um unterschiedlichen Projektanforderungen gerecht zu werden. 4 GB DDR ist die gängige Konfiguration für Serienproduktionen; alternativ sind auch andere DDR-Größen für unterschiedliche Arbeitslasten verfügbar.

Die nachstehende Tabelle gilt für gängige 1080p- bis 4K-Kamerasensoren am Markt:

Falls Sie unsicher bezüglich der geeigneten Speicherkonfiguration sind, wenden Sie sich bitte an [email protected]. Wir stellen auf Grundlage Ihrer Kamerakanalanzahl, Auflösung, Geschäftlogik und Laufzeit-Workload eine individuelle Lösungsbewertung bereit.