×
De nombreux dispositifs embarqués, tels que les robots, les caméras intelligentes et les terminaux de vision industrielle, utilisent désormais des NPU pour exécuter des algorithmes de vision par IA. Une NPU est une unité matérielle intégrée à une puce et dédiée à l'inférence par IA.
Lors du choix d'une puce, de nombreuses équipes consultent d'abord sa puissance de calcul NPU TOPS et supposent qu'un chiffre plus élevé signifie une puce plus performante. En pratique, le développement de produits se heurte à deux problèmes typiques :
Le premier problème est une capacité de calcul insuffisante. L'appareil fonctionne à une faible fréquence d'images, la vidéo saccade, des images sont perdues lorsque plusieurs caméras fonctionnent simultanément et la reconnaissance par IA peut échouer.
Le second problème est la surcapacité. La puce est coûteuse, consomme davantage d'énergie et génère une chaleur importante. Une capacité de calcul inutilisée réduit les marges bénéficiaires.
Un aspect technique essentiel à prendre en compte est que, dans de nombreux projets de vision embarquée, les performances sont limitées par les transferts d'images, la bande passante mémoire ou le traitement en aval basé sur le processeur plutôt que par la capacité de calcul du NPU.
La planification des calculs ne nécessite pas une longue liste de termes techniques. Distinguer deux concepts clés permet d'éviter que les spécifications des puces ne soient trompeuses.
La valeur TOPS annoncée par les fabricants de puces correspond aux performances de calcul théoriques maximales : la capacité de traitement maximale qu’un NPU peut atteindre à pleine charge dans des conditions de laboratoire idéales. La conception des produits nécessite une marge de sécurité ; les performances maximales ne peuvent donc pas être utilisées directement pour le dimensionnement.
Nous utilisons le GMAC pour évaluer la charge de calcul d'un modèle d'IA. Une opération MAC (multiplication-accumulation) est une opération de base, et le GMAC représente un milliard de ces opérations. Il mesure la quantité de calculs effectués par un modèle. Il est important de noter que le GMAC mesure la charge de travail, tandis que le GMAC/s mesure le débit. Les modèles plus volumineux ont des valeurs de GMAC plus élevées.
Le taux d'utilisation du NPU n'est pas une constante. Il représente la proportion de la capacité du NPU utilisée pour le calcul effectif. Pour les réseaux convolutionnels simples, tels que les interfaces VIO ou les modèles de détection légers, des opérateurs simples et une optimisation poussée de la puce permettent d'atteindre un taux d'utilisation de 60 à 80 %. Les modèles contenant des transformations complexes ou des blocs Transformer peuvent nécessiter une exécution répétée par blocs, réduisant ainsi le taux d'utilisation à 20 % voire moins.
L'application d'un taux d'utilisation fixe de 40 % est une cause majeure d'estimations inexactes. La résolution influe également directement sur la charge de travail : doubler la largeur et la hauteur de l'image d'entrée quadruple sa surface et multiplie approximativement par quatre la charge de calcul pour un même modèle.
TOPS ne représente que la limite matérielle. Commencez les estimations de calcul avec la charge de travail GMAC du modèle et calibrez-les à l'aide de mesures effectuées sur une carte de développement. Ne choisissez pas une puce uniquement en fonction de ses performances maximales théoriques.
Avant d'estimer les besoins en calcul, il convient de cartographier la charge de travail du produit. La distinction cruciale réside dans le choix entre l'inférence parallèle et l'inférence à tour de rôle (temps partagé) pour plusieurs caméras, car cela détermine la façon dont leurs besoins en calcul sont combinés.
Mode parallèle : toutes les caméras exécutent simultanément l’inférence IA, ce qui permet d’additionner directement leurs besoins de calcul. Par exemple, un dispositif de sécurité équipé de quatre caméras effectuant une détection d’objets en temps réel à 30 images par seconde sur chaque canal combine la charge des quatre canaux.
Mode temps partagé : le NPU est une ressource matérielle partagée qui traite les images de la caméra séquentiellement, en gérant un canal à la fois, les canaux se succédant dans une file d’attente. De nombreuses implémentations de vision multicaméra sur les plateformes Rockchip RK utilisent cette approche.
Collectez les informations suivantes lors de la définition de la charge de travail :
Résolution et fréquence d'images pour chaque caméra.
Liste des modèles d'IA : quels modèles s'exécutent sur le NPU et quelles tâches de post-traitement s'exécutent sur le CPU.
Précision de quantification : INT8 est un choix courant pour les dispositifs embarqués en raison de son efficacité d’inférence plus élevée.
Méthode de déclenchement : traitement IA continu sur chaque image, ou opération déclenchée par événement dans laquelle des algorithmes complexes ne démarrent que lorsqu’une condition de déclenchement est remplie.
Important : Exportez le modèle GMAC à l’aide d’outils tels que RKNN ou ONNX Runtime plutôt que de l’estimer par expérience. Utiliser la charge de travail d’un modèle YOLO volumineux pour dimensionner un réseau VIO léger peut conduire à une surestimation importante des besoins en calcul.
Notre plateforme MV11 est une plateforme de calcul de fusion vision-navigation inertielle synchronisée matériellement, basée sur le processeur haute performance Rockchip RK3576 et composée de quatre caméras. Elle intègre un NPU de 6 TOPS et 4 Go de mémoire LPDDR4, et assure une synchronisation à la microseconde près entre les quatre caméras. Elle convient notamment à la reconnaissance et à la détection robotiques, à l'imagerie vidéo (VIO), au SLAM et à l'acquisition de données EGO multicaméras. Elle peut servir de plateforme matérielle pour les tests de calcul, de bande passante et de planification multicanaux au niveau carte décrits précédemment. Des échantillons sont disponibles pour une évaluation préliminaire de votre projet, et des solutions de vision complètes peuvent être personnalisées pour faciliter leur déploiement. Contactez-nous à l'adresse [email protected].
De nombreux projets se concentrent uniquement sur la puissance de calcul maximale du NPU lors de la sélection, puis constatent, lors de la mise en service de la carte, que le système ne peut pas suivre, même si plus de la moitié de la capacité du NPU reste disponible. Les contraintes suivantes constituent des goulots d'étranglement courants dans la vision embarquée.
Lors de l'inférence IA, le NPU lit en continu les images et les poids du modèle en mémoire et y réécrit les cartes de caractéristiques intermédiaires. La bande passante DDR détermine la vitesse de ces transferts. En cas de bande passante insuffisante, même un NPU doté d'une capacité de calcul importante doit attendre les données, ce qui empêche toute amélioration de la fréquence d'images. Dans la plupart des projets multicaméras sur les plateformes RK, la bande passante est saturée alors que seule une petite partie de la capacité du NPU est utilisée.
Les tampons d'images, les pondérations des modèles d'IA et les cartes de caractéristiques intermédiaires consomment tous de la mémoire. Cette consommation augmente considérablement lorsque plusieurs canaux fonctionnent simultanément. Un manque de mémoire peut entraîner le plantage de l'application. Les systèmes embarqués étant généralement dépourvus de mémoire virtuelle, une erreur de mémoire insuffisante (OOM) peut provoquer l'arrêt du système.
Les images brutes capturées par les caméras nécessitent un recadrage, une mise à l'échelle et une conversion d'espace colorimétrique. Une partie du prétraitement est effectuée par le processeur de signal d'image (ISP), tandis qu'une autre partie utilise les ressources du processeur (CPU). L'acquisition multicaméra accroît la demande de prétraitement et peut introduire une latence sur l'ensemble du pipeline, même lorsque l'unité de traitement réseau (NPU) est inactive.
La puissance de calcul maximale (TOPS) annoncée pour une puce correspond à sa consommation électrique maximale. La plupart des systèmes embarqués sont sans ventilateur et ne peuvent pas supporter la pleine charge de l'unité de traitement réseau (NPU) sur de longues périodes. Même avec une capacité de calcul théorique élevée, les conditions thermiques limitent la capacité disponible pour un fonctionnement continu.
Si un modèle d'IA contient des opérateurs spéciaux que le NPU ne peut pas accélérer, leur exécution est redirigée vers le CPU. Le traitement de l'IA sur le CPU est lent et peut fortement ralentir le pipeline, même si la capacité du NPU est suffisante. Vérifiez la prise en charge de l'accélération des opérateurs avant de choisir la plateforme.
1. Établir la charge de travail de référence et le mode de fonctionnement. Définir le pipeline d'IA : résolution, fréquence d'images, nombre de canaux, stratégie de déclenchement (continue ou événementielle), exécution parallèle ou partagée, liste des modèles et précision de déploiement. Porter une attention particulière à la planification des différents canaux.
2. Quantifiez les charges de travail des modèles et exportez les GMAC/s. Utilisez des outils pour exporter les GMAC/s pour chaque modèle, en séparant le calcul accéléré par NPU du post-traitement CPU.
3. Effectuez des mesures sur la carte cible afin de déterminer l'efficacité d'exécution. Convertissez les modèles au format de la plateforme sur les SoC candidats tels que RK3576 ou RK3588. Mesurez le temps d'inférence par image pour déterminer le débit réel de ce modèle sur cette NPU. Il s'agit de l'étape la plus importante pour éliminer les écarts avec les estimations théoriques : toutes les estimations doivent être calibrées à l'aide de mesures au niveau de la carte plutôt que de formules génériques.
4. Regroupez les charges de travail multicanaux et évaluez les goulots d'étranglement du système. Analysez le fonctionnement normal en régime permanent ainsi que le pic de charge le plus défavorable lorsque tous les canaux sont activés simultanément. Vérifiez simultanément la bande passante DDR et l'utilisation de la mémoire. De nombreux projets multicaméras RK saturent la bande passante alors que la capacité de calcul reste disponible.
5. Prévoyez une marge de sécurité adéquate et définissez des limites. Utilisez une marge de 1,1 à 1,2 pour les produits à court terme dont les algorithmes sont largement fixes, et de 1,3 à 1,4 pour les produits susceptibles de recevoir des mises à jour de modèle. Cette marge doit couvrir l'évolution du modèle, les pics de charge et les coûts de planification, plutôt qu'un surdimensionnement arbitraire. Définissez simultanément les limites de coût de la nomenclature et de consommation énergétique.
6.1 Utilisation exclusive de Chip TOPS et d'un taux d'utilisation fixe
Appliquer un taux d'utilisation fixe de 40 % à la puissance de calcul annoncée peut surestimer considérablement les besoins en calcul et s'éloigner significativement des conditions réelles d'exploitation. L'utilisation varie sensiblement selon les modèles et les architectures NPU.
6.2 Multiplication par le nombre de canaux et ignorance du partage de temps
En mode temps partagé, l'unité de traitement réseau (NPU) traite les canaux à tour de rôle et sa capacité de calcul est réutilisée. Multiplier simplement le nombre de canaux par la demande de calcul d'un seul canal peut largement surestimer les besoins, aboutissant à une puce surdimensionnée et inutilement coûteuse.
6.3 Évaluation de la puissance de calcul du NPU sans tenir compte de la bande passante DDR
Dans les projets de vision multicaméra, les goulots d'étranglement liés à la bande passante sont bien plus fréquents que ceux liés à la puissance de calcul. L'unité de traitement réseau (NPU) peut disposer d'une capacité résiduelle importante, mais les transferts de données ne peuvent pas suivre, ce qui limite la fréquence d'images. Il est donc impératif d'évaluer la bande passante en premier lieu dans les projets multicaméra.
6.4 Considérer la charge moyenne mais ignorer les pics transitoires
Un produit peut fonctionner à faible charge la plupart du temps, mais subir des pics transitoires lorsque toutes les caméras activent simultanément l'IA. La conception doit prendre en compte ces pics, mais une file d'attente de tâches permet d'atténuer la demande transitoire ; il n'est donc pas nécessaire de dimensionner la puce directement en fonction de la demande de calcul maximale.
6.5 Calcul du modèle en ne comptant que les éléments et en ignorant les surcharges du système
De nombreuses estimations ne prennent en compte que le GMAC de l'infrastructure IA et ignorent le prétraitement ISP, la copie d'images et le post-traitement CPU. Même avec une capacité NPU suffisante, ces surcharges augmentent la latence de bout en bout et empêchent d'atteindre la fréquence d'images attendue.
Veuillez indiquer tous les paramètres de la caméra : résolution, fréquence d’images et nombre de canaux. Précisez si les canaux utilisent une planification parallèle ou à temps partagé.
Exportez le GMAC pour chaque modèle et distinguez le calcul NPU du post-traitement CPU.
Mesurer le temps d'inférence d'un modèle unique sur les plateformes candidates afin d'établir l'efficacité d'exécution réelle.
Regrouper les charges de travail multicanaux et évaluer l'utilisation du calcul NPU dans des conditions stables et de pointe.
Mesurez la bande passante DDR et l'utilisation de la mémoire pour déterminer si la bande passante constitue le goulot d'étranglement.
Validez les opérateurs du modèle et confirmez la prise en charge de l'accélération matérielle NPU afin d'éviter le recours au processeur.
Réservez une marge de calcul en fonction de la feuille de route des mises à jour du produit et définissez les limites de coût et de consommation énergétique de la nomenclature.
Effectuez des tests de charge prolongés avec déclenchements multicanaux simultanés. Vérifiez les variations de fréquence d'images et les plantages dus à une saturation de la mémoire.
Le dimensionnement de la capacité NPU pour la vision embarquée ne se résume pas à un simple calcul mathématique basé sur la formule TOPS. Les estimations théoriques ne constituent qu'une première indication pour la planification. La validation finale doit être effectuée sur la carte de développement de la puce cible.
Une évaluation complète suit cette séquence : déterminer si le calcul est le goulot d’étranglement → confirmer la planification parallèle ou à temps partagé → mesurer le modèle GMAC → prioriser l’évaluation de la bande passante DDR → calibrer par des tests au niveau de la carte → réserver une marge de calcul appropriée.
L'objectif est d'équilibrer performances, consommation d'énergie et coût. Il convient de choisir une capacité suffisante pour la tâche plutôt que de rechercher des performances NPU TOPS de pointe toujours plus élevées.
Notre plateforme MV11 est une plateforme de calcul de fusion vision-navigation inertielle synchronisée matériellement, basée sur le processeur haute performance Rockchip RK3576 et composée de quatre caméras. Elle intègre un NPU de 6 TOPS et 4 Go de mémoire LPDDR4, et assure une synchronisation à la microseconde près entre les quatre caméras. Elle convient notamment à la reconnaissance et à la détection robotiques, à l'imagerie vidéo (VIO), au SLAM et à l'acquisition de données EGO multicaméras. Elle peut servir de plateforme matérielle pour les tests de calcul, de bande passante et de planification multicanaux au niveau carte décrits précédemment. Des échantillons sont disponibles pour une évaluation préliminaire de votre projet, et des solutions de vision complètes peuvent être personnalisées pour faciliter leur déploiement. Contactez-nous à l'adresse [email protected].
Actualités chaudes2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
