De combien de mémoire DDR un système de vision artificielle multi-caméra a-t-il besoin ? (Avec tableau de sélection du RK3576)

Avec la progression rapide des applications de vision artificielle, les solutions multi-caméra (stéréo, quadri-caméra et même davantage de canaux vidéo) sont largement adoptées dans des scénarios tels que l’acquisition de données, la surveillance de sécurité, l’inspection industrielle, la perception robotique et le calcul embarqué. De nombreux projets tombent dans un piège courant lors de la sélection matérielle : se concentrer uniquement sur la puissance de calcul de la puce tout en négligeant la configuration mémoire. Cela conduit finalement à des problèmes tels que la perte d’images, des inférences IA saccadées et des plantages du système.

Une mémoire DDR plus grande est-elle toujours préférable ? Oui, du point de vue des performances et de la stabilité. Toutefois, l’inconvénient est évident — cela pèse lourdement sur le budget, surtout compte tenu de la récente hausse des prix de la mémoire DDR. Trouver un équilibre entre coût et besoins réels du projet devient donc essentiel pour la sélection de la solution.

Examinons le piège le plus courant lié au dimensionnement de la mémoire DDR : l’utilisation de la mémoire peut sembler faible dans des conditions normales, mais elle peut connaître des pics atteignant des valeurs maximales lors de rafales de tâches simultanées, déclenchant directement des plantages du système. De nombreuses équipes utilisent la consommation moyenne de mémoire pour évaluer le matériel. Prenons l’exemple du capteur AR0234, largement utilisé : une seule caméra 1080P consomme une quantité modeste de mémoire en veille inactive. Toutefois, lors de l’exécution complète du pipeline capture-ISP-inférence IA-codage, sa consommation mémoire maximale peut atteindre plusieurs dizaines de mégaoctets par canal. Pour une caméra 4K, la consommation maximale par canal peut dépasser 100 Mo. Même une simple requête HTTP consomme plusieurs mégaoctets par connexion. Ces surcharges individuelles semblent minimes, mais elles s’accumulent rapidement dès que plusieurs caméras et tâches sont activées simultanément. Cela peut déclencher une erreur OOM (Out-of-Memory), entraînant la terminaison de processus et une panne du système.

Où la mémoire est-elle consommée dans les systèmes de vision artificielle multi-caméras ?

La mémoire des dispositifs de vision embarquée n’est pas utilisée exclusivement par les modèles d’intelligence artificielle. Elle est partagée entre la capture d’images, le prétraitement, l’inférence IA, les services système et les charges de travail applicatives. La surcharge mémoire augmente avec chaque canal caméra supplémentaire.

1. Tampons d’image (principale source de surcharge) Les images brutes, les trames YUV et les trames redimensionnées produites par chaque caméra consomment de la mémoire. Pour un capteur AR0234 fonctionnant en 1080P à 30 images par seconde, une seule trame YUV occupe plusieurs mégaoctets. Afin d’éviter la perte de trames, le système maintient des tampons circulaires multi-trames, ce qui accroît encore l’empreinte mémoire. La génération de plusieurs variantes d’image (originale, miniature, trames recadrées) crée des tampons d’image supplémentaires. La consommation mémoire se multiplie lorsque plusieurs caméras transmettent simultanément.

2. Surcharge liée au processeur de signal d’image (ISP) et au prétraitement d’image Le FAI est un accélérateur matériel indépendant qui effectue la réduction du bruit, la correction de couleur, la correction de distorsion, la rotation, la récolte et la conversion de format. Le FAI ne contient qu'un cache limité sur la puce sans stockage de trames de grande capacité. Il faut donc allouer des tampons temporaires en DDR pour de nombreuses opérations. Plus de canaux de caméra signifient des charges de travail plus lourdes pour les FAI et des exigences de capacité DDR plus élevées.

3.Mémoire pour l'inférence de modèles d'IA L'inférence par IA consomme la mémoire en deux parties. Les premiers sont les poids des modèles: les paramètres de modèle plus grands entraînent une consommation de mémoire plus élevée. Heureusement, les poids sont chargés une fois à l'initialisation du modèle; leur empreinte mémoire ne grandit pas avec plus de canaux de caméra ou de scénarios pendant l'exécution.

La mémoire n’est-elle pas affectée pendant la phase d’inférence en temps réel ? Pas du tout. Cela nous amène au deuxième composant : les tampons de caractéristiques intermédiaires générés durant l’inférence. Chaque canal caméra nécessite son propre tampon de calcul, ce qui augmente la consommation mémoire totale. Une inférence IA synchronisée sur plusieurs caméras exige plusieurs tampons de calcul indépendants. Ainsi, plus il y a de canaux, plus la surcharge mémoire liée aux tampons d’inférence est élevée.

4. Surcharge système, pilote et intergiciel Prenons notre solution vision RK3576 comme exemple. La mémoire système de base est consommée par le noyau Linux, les pilotes multimédias RK, le cadre multimédia RKMPP, les pilotes NPU, les journaux système et les processus en cours d’exécution. Dans les déploiements multi-caméras, les cadres multimédias et le codage vidéo (enregistrement H.264 / H.265) ajoutent une charge mémoire substantielle. L’activation du codage et de l’enregistrement multi-canal provoque une augmentation brutale supplémentaire de la pression sur la mémoire.

Remarque importante : Il s’agit ici de mémoire de travail (RAM DDR), et non de stockage eMMC. L’eMMC stocke uniquement les fichiers vidéo encodés.

5.Utilisation - Couche mémoire métier La logique applicative, y compris l’analyse des résultats d’inférence, le suivi multi-objets, la transmission des données, la mise en cache locale et le stockage de clichés, consomme de la mémoire. Par exemple, les algorithmes de suivi stockent des données cibles sur plusieurs images. Plus il y a de caméras et d’objets suivis, plus les jeux de données sont volumineux et plus la consommation mémoire au niveau applicatif est élevée.

Performance pratique de la mémoire sur la plateforme RK3576

Le RK3576 est un processeur domestique d’intelligence artificielle embarquée grand public, offrant une puissance de calcul NPU de 6 TOPS, particulièrement adapté aux déploiements de vision artificielle multi-caméra. Notre entreprise propose plusieurs produits matures en production de masse, prenant en charge de 1 à 6 flux vidéo provenant de caméras, afin de répondre aux besoins variés des projets. Une mémoire DDR de 4 Go constitue la configuration standard en production de masse, tandis que d’autres capacités de mémoire DDR sont disponibles selon les charges de travail.

Le tableau ci-dessous s’applique aux capteurs de caméra courants du marché, allant du 1080p au 4K :

Si vous n’êtes pas certain de la configuration mémoire appropriée, veuillez contacter [email protected]. Nous fournirons une évaluation de solution personnalisée basée sur le nombre de canaux de votre caméra, sa résolution, sa logique métier et sa charge de travail en temps réel.