RK3576-Kamera-Sensor-Kompatibilitätsleitfaden: Was vor der Hardware-Entwicklung zu prüfen ist

Bei der Auswahl des Kamera-Sensors und beim Hardware-Design für die RK3576-Plattform müssen mehrere kritische Punkte bereits vor Beginn der Schaltplanerstellung endgültig festgelegt werden. Diese Entscheidungen beeinflussen unmittelbar die Bildqualität und die technische Umsetzbarkeit des Hardware-Designs.

RK3576-CSI/PHY- und ISP-Einschränkungen

Die RK3576 bietet eine flexible Kamera-Schnittstellenarchitektur; die Konfiguration muss jedoch von Anfang an an den Projektanforderungen ausgerichtet werden.

Schnittstellenunterstützung: Der SoC unterstützt sowohl MIPI CSI-2 als auch DVP-Kamera-Schnittstellen, wobei MIPI CSI-2 bei aktuellen Designs den entscheidenden Vorteil bietet.

Die RK3576 stellt eine C/D-PHY-Schnittstelle mit bis zu vier Lanes sowie zwei D-PHY-Schnittstellen bereit. Die verfügbaren PHY-Ressourcen können entweder als zwei 4-Lane-D-PHY-Ports oder als vier 2-Lane-D-PHY-Ports konfiguriert werden. Dadurch wird ein Mehrkamera-Design möglich – beispielsweise Mehransichtssysteme, wie sie häufig in Sicherheits- und Robotikanwendungen eingesetzt werden.

Notizen:

• Bei einem Mehrkamera-Design sollten die PHY- und Lane-Ressourcen frühzeitig zugewiesen werden. Ein einzelner Sensor kann sich nicht über zwei PHYs erstrecken.
• Ein RK3576-CSI-Port ist wahlweise als C-PHY oder D-PHY konfigurierbar. Im D-PHY-Modus unterstützt er bis zu 4,5 Gbps pro Lane; im C-PHY-Modus bis zu 2,5 Gsps pro Trio. Die übrigen D-PHY-Kanäle unterstützen bis zu 2,5 Gbps pro Lane. Ein praktisches Hardware-Design sollte etwa 20 % Bandbreite als Reserve halten. Wenn die effektive Datenrate an die Schnittstellengrenze heranreicht oder diese überschreitet, steigt die Wahrscheinlichkeit für beschädigte Frames, verlorene Frames und andere Bildfehler.
• Der SoC unterstützt zudem eine parallele DVP-Kamera-Schnittstelle für veraltete, niedrigauflösende Sensoren. Da DVP- und MIPI-Funktionen einige Pins gemeinsam nutzen, muss die Pin-Zuweisung früh genug festgelegt werden, um Ressourcenkonflikte zu vermeiden.

RK3576-ISP-Spezifikationen und Verarbeitungsgrenzen

• Der RK3576 integriert eine einzelne Hardware-ISP-Engine, die Bildverarbeitung bis zu 16 MP und einen HDR-Dynamikumfang von bis zu 120 dB unterstützt. In einem Mehrkamerasystem bedeutet das Durchleiten mehrerer RAW-Streams durch den ISP jedoch, dass Auflösung und effektive Bildrate durch die ISP-Kapazität sowie die MIPI CSI-2-Empfangsbandbreite begrenzt sind. Wenn die Sensoren YUV direkt ausgeben und den ISP umgehen, verschieben sich die Hauptbeschränkungen auf die MIPI-Schnittstellenbandbreite und die Speicherbandbreite.

Beispielhafte Mehrkamera-Konfiguration: 1 × 8 MP (4K bei 30 fps) + 2 × 2 MP (1080p bei 30 fps).

• Mehrkamera-Anwendungen erfordern zudem frühzeitig eine Entscheidung zur Bildsynchronisation. Multiview-Aufnahmen und Stereo-Entfernungsmessung können eine hardwarebasierte VSYNC-Synchronisation benötigen. Prüfen Sie, ob die Hardware-Synchronisation aktiviert wird und ob der SoC genügend externe Trigger-Pins für die geplante Anzahl an Kameras bereitstellt.

Sensor-Auswahl-Checkliste

• Ausgabeschnittstelle und -modus: Bestätigen Sie MIPI CSI-2 oder DVP sowie die Anzahl der MIPI-Lanes (1, 2 oder 4 Lanes).
• Datenformat: Auf der RK3576-Plattform unterstützt der VICAP-Eingang RAW-, RGB888- und ausgewählte YUV-Formate. Der integrierte ISP verarbeitet RAW-Daten und wandelt sie in YUV für die nachgeschaltete Pipeline um. RGB- und YUV-Streams, die direkt erfasst werden, durchlaufen den ISP nicht.
• Auflösung und Bildfrequenz: Überprüfen Sie die Anforderungen jedes einzelnen Sensors und validieren Sie anschließend den kombinierten Betriebsmodus, wenn mehrere Kameras gleichzeitig laufen. Die Gesamtlast muss innerhalb der Echtzeit-Verarbeitungsgrenze des ISP bleiben.
• Kompatibilität der Versorgungsspannungen: Ein typischer Sensor verwendet drei Spannungsversorgungen: AVDD für die analoge Schaltung, DVDD für den digitalen Kern und DOVDD für das E/A-Spannungsniveau. Der RK3576-MIPI-PHY verwendet eine feste 1,8-V-Versorgungsspannung; daher wird im Allgemeinen ein Sensor mit einer DOVDD von 1,8 V bevorzugt. Falls das DOVDD-Niveau des Sensors nicht mit dem I²C-E/A-Spannungsniveau des Hosts übereinstimmt, kann ein Pegelwandler in den Low-Speed-Steuerbus eingefügt werden. Platzieren Sie keinen externen Pegelwandler auf den High-Speed-MIPI-Differenzialsignalen. Die Hardware muss die vom Sensorenhersteller vorgegebene Einschalt- und Ausschaltreihenfolge einhalten. Die Softwareinitialisierung hängt von dieser Reihenfolge ab; falsche Timing-Angaben können verhindern, dass der Sensor initialisiert wird oder ein Bild erzeugt. Der Spitzenstrom an AVDD, DVDD und DOVDD muss ebenfalls berechnet werden, damit jeder integrierte LDO über ausreichende Leistungsfähigkeit und Konstruktionsreserve verfügt.
• Steuerbussystem: Bestätigen Sie die I2C-Adresse des Sensors. Bei einem Mehrkamerasystem planen Sie, wie doppelte Adressen behandelt werden – entweder durch Software-Anpassung der Adressen (sofern unterstützt) oder durch Einsatz eines externen I2C-Schalters.
• Takteingang: Der RK3576 bietet mehrere unabhängig konfigurierbare Sensor-MCLK-Ausgänge. Jeder Takt wird aus einer internen SoC-Taktquelle erzeugt und über ein multiplextes GPIO an den Sensor geleitet; jeder Ausgang kann einzeln aktiviert und konfiguriert werden. Der typische softwarekonfigurierbare Bereich für einen MCLK liegt bei 6 bis 48 MHz. Falls ein Sensor einen Takt außerhalb dieses Bereichs benötigt, verwenden Sie einen dedizierten externen Oszillator. Bei Mehrkamerasystemen ist zudem auf Pin-Multiplexing-Konflikte zu achten.
• Stromversorgungs- und Thermalkonzeption: Hochauflösende Sensoren mit hoher Bildwiederholrate verbrauchen mehr Leistung. Bewerten Sie vor der endgültigen Hardware-Festlegung die strombezogene Belastung auf Leiterplattenebene sowie den thermischen Pfad des Produkts.
• Objektiv-, IR-Filter- und Beleuchtungssteuerung: Stellen Sie sicher, dass ausreichend GPIO-Ressourcen für jeden erforderlichen Aktuator und Treiber verfügbar sind.
• HDR-Modus-Kompatibilität: Der RK3576 unterstützt DOL-HDR, gestaffeltes HDR und Mehrbild-HDR. Bevor Sie einen Sensor auswählen, bestätigen Sie, ob dessen HDR-Datenformat und Timing mit dem RK3576-ISP und VICAP kompatibel sind.

Beginnen Sie nach Möglichkeit mit einem Sensor, der bereits von der Plattform-Community oder vom Modulhersteller validiert wurde. Dadurch kann das Risiko bei der Treiberentwicklung und beim System-Bring-up erheblich reduziert werden.

Bereits integrierte Sensoren umfassen den Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP) und IMX662 (2 MP) sowie den onsemi AR0234 (2,3 MP) und den OMNIVISION OG02C1B (2 MP). Falls Ihr Projekt einen anderen Bildsensor erfordert, wenden Sie sich bitte an [email protected], um eine kundenspezifische Integration und Abstimmung zu besprechen.

Wichtige Punkte für das Leiterplattendesign

• MIPI-CSI-Routing: Steuern Sie die differentielle Impedanz auf 100 Ohm ±10 %. Halten Sie die Längendifferenz zwischen den Leitungen jedes differentiellen Paares unter 5 Mil und die Längendifferenz zwischen den Leitungen innerhalb desselben CSI-Anschlusses unter 200 Mil. Führen Sie MIPI-Signalleitungen fern von Hochgeschwindigkeitsuhren, DDR- und hochstrombelasteten Stromversorgungsleitungen. Führen Sie sie nicht über Unterbrechungen in der Referenzebene. Halten Sie die Leitungen so kurz wie möglich – vorzugsweise unter 15 cm; je länger die Leitungsführung, desto niedriger ist die maximal zuverlässig erzielbare Datenrate.
• MCLK ist eine hochgeschwindige Einzelend-Uhr. Wahren Sie ausreichenden Abstand zu den MIPI-differentiellen Paaren und vermeiden Sie lange parallele Führungslängen, um Übersprechen zu reduzieren.
• Halten Sie hochgeschwindige MIPI-Leitungsführungen fern von starken Störquellen wie Schaltnetzteilen und DDR-Bussen und sorgen Sie dort, wo es die Layout-Anforderung erfordert, für wirksamen Abschirm- und Erdungsschutz.
• Stromfilterung: Platzieren Sie Entkopplungskondensatoren mit 0,1 µF und 1 µF nahe jedem Versorgungspin des Sensors. Eine Ferritperle kann auf AVDD hinzugefügt werden, um die analoge Versorgungsschiene vom digitalen Schaltungsrauschen zu isolieren.
• Hochauflösende Sensoren, die mit hohen Bildraten arbeiten, können beträchtliche Leistung dissipieren. Eine steigende Temperatur kann das Bildrauschen erhöhen und Farbverschiebungen verursachen; daher sollte die thermische Lösung bereits während der Hardwareentwicklung – und nicht erst nach dem Inbetriebnahmetest – bewertet werden.
• Pin-Multiplexing-Prüfung: Überprüfen Sie alle MIPI-, DVP-, I2C-, MCLK- und GPIO-Zuweisungen auf Konflikte bei gemeinsam genutzten Funktionen.

Software und Bildverarbeitungspipeline

• Hardwarebeschleunigung: Der RK3576 enthält einen RGA-2D-Grafikbeschleuniger für Operationen wie Bildformatkonvertierung (z. B. YUV nach RGB), Skalierung und Rotation. Die Nutzung des RGA anstelle einer CPU-basierten Verarbeitung kann die CPU-Auslastung deutlich senken und ist entscheidend für einen stabilen Betrieb mit hoher Bildrate, z. B. 1080p bei 30 fps.
• NPU-Datenflussplanung: Wenn ein KI-Modell auf der integrierten 6-TOPS-NPU des RK3576 läuft, verläuft der typische Datenpfad über die Kamerakapatur, die ISP-Verarbeitung, die RGA-Formatkonvertierung und -Skalierung, die NPU-Inferenz sowie die Anzeigeausgabe. Die Latenz jeder einzelnen Stufe sollte während der Systementwicklung bewertet werden, um sicherzustellen, dass das Gesamtprodukt seine Echtzeitanforderungen erfüllt.

Die folgenden Referenzkonfigurationen zeigen, wie die verfügbaren Kameraschnittstellen für mehrere gängige Anwendungen zugewiesen werden können.