Muchos dispositivos integrados, como robots, cámaras inteligentes y terminales de visión industrial, utilizan ahora NPU para ejecutar algoritmos de visión artificial. Una NPU es una unidad de hardware dentro de un chip dedicada a la inferencia de IA.
Al elegir un chip, muchos equipos primero miran su clasificación NPU TOPS y asumen que un número más alto significa un chip más potente. En la práctica, el desarrollo de productos se enfrenta a dos problemas típicos:
El primer problema es la capacidad de procesamiento insuficiente. El dispositivo funciona a una velocidad de fotogramas baja, el vídeo se entrecorta, se pierden fotogramas cuando varias cámaras operan simultáneamente y el reconocimiento de IA puede fallar.
El segundo problema es el exceso de capacidad. El chip es caro, consume más energía y genera mucho calor. La capacidad de procesamiento no utilizada reduce los márgenes de beneficio.
Una consideración clave en ingeniería es que, en muchos proyectos de visión embebida, el rendimiento está limitado por las transferencias de imágenes, el ancho de banda de la memoria o el procesamiento posterior basado en la CPU, en lugar de la capacidad de cómputo de la NPU.
La planificación de cálculos no requiere una larga lista de términos técnicos. Distinguir dos conceptos clave ayuda a evitar que las especificaciones de los chips resulten engañosas.
La cifra TOPS que anuncian los fabricantes de chips representa el rendimiento máximo teórico: la capacidad máxima de procesamiento que una NPU puede alcanzar a plena carga en condiciones ideales de laboratorio. Los diseños de productos requieren margen de seguridad, por lo que el rendimiento máximo no puede utilizarse directamente para dimensionar los componentes.
Utilizamos GMAC para evaluar la carga computacional de un modelo de IA. Una operación MAC es una operación básica de multiplicación y acumulación, y GMAC representa mil millones de dichas operaciones. Mide la cantidad de computación en un modelo. Cabe destacar que GMAC mide la carga de trabajo, mientras que GMAC/s mide el rendimiento. Los modelos más grandes tienen valores de GMAC más altos.
La utilización de la NPU no es una constante fija. Representa la proporción de la capacidad de la NPU utilizada para el cálculo efectivo. Para redes convolucionales simples, como los front-ends VIO o los modelos de detección ligeros, los operadores simples y una optimización exhaustiva del chip pueden lograr una utilización del 60 % al 80 %. Los modelos que contienen transformaciones complejas o bloques Transformer pueden requerir una ejecución repetida en mosaico, lo que reduce la utilización al 20 % o incluso menos.
Aplicar una tasa de utilización fija del 40 % es una de las principales causas de estimaciones inexactas. La resolución también afecta directamente a la carga de trabajo: duplicar tanto el ancho como la altura de la imagen de entrada cuadruplica su área y, aproximadamente, cuadruplica el cálculo para el mismo modelo.
TOPS es solo el límite del hardware. Comience las estimaciones de cómputo con la carga de trabajo GMAC del modelo y calíbrelas comparándolas con mediciones en una placa de desarrollo. No seleccione un chip basándose únicamente en su rendimiento máximo teórico.
Antes de estimar los requisitos de procesamiento, es fundamental analizar la carga de trabajo del producto. La clave reside en si las distintas cámaras utilizan inferencia paralela o inferencia rotativa compartida, ya que esto determina cómo se combinan sus demandas de procesamiento.
Modo paralelo: Todas las cámaras realizan inferencias de IA simultáneamente, por lo que sus requisitos de procesamiento se suman directamente. Por ejemplo, un dispositivo de seguridad con cuatro cámaras que realizan detección de objetos en tiempo real a 30 fotogramas por segundo en cada canal combina la carga de los cuatro canales.
Modo de tiempo compartido: La NPU es un recurso de hardware compartido que procesa las imágenes de la cámara de forma secuencial, gestionando un canal a la vez a medida que los canales se turnan en una cola. Muchas implementaciones de visión multicámara en plataformas Rockchip RK utilizan este enfoque.
Recopile la siguiente información al definir la carga de trabajo:
Resolución y velocidad de fotogramas para cada cámara.
Lista de modelos de IA: qué modelos se ejecutan en la NPU y qué tareas de posprocesamiento se ejecutan en la CPU.
Precisión de cuantificación: INT8 es una opción común para dispositivos integrados debido a su mayor eficiencia de inferencia.
Método de activación: procesamiento continuo de IA en cada fotograma, o funcionamiento activado por eventos en el que los algoritmos complejos se inician solo cuando se cumple una condición de activación.
Importante: Exporte el GMAC del modelo utilizando herramientas como RKNN u ONNX Runtime en lugar de estimarlo a partir de la experiencia. Utilizar la carga de trabajo de un modelo YOLO grande para dimensionar una red VIO ligera puede sobreestimar gravemente los requisitos de computación.
Nuestro MV11 es una plataforma de computación de fusión de visión y navegación inercial con cuatro cámaras sincronizadas por hardware, basada en el procesador de alto rendimiento Rockchip RK3576. Incluye una NPU de 6 TOPS y 4 GB de memoria LPDDR4, y admite sincronización a nivel de microsegundos entre las cuatro cámaras. Entre las aplicaciones adecuadas se incluyen el reconocimiento y la detección robótica, VIO, SLAM y la recopilación de datos EGO multicámara. Puede servir como plataforma de hardware para las pruebas de computación, ancho de banda y programación multicanal a nivel de placa descritas anteriormente. Hay muestras disponibles para la evaluación inicial del proyecto, y se pueden personalizar soluciones de visión completas para facilitar la implementación. Contáctenos en [email protected].
Muchos proyectos se centran únicamente en el rendimiento de la NPU (Tops) durante la selección, para luego descubrir, durante la puesta en marcha de la placa, que el sistema no puede mantener el ritmo a pesar de que más de la mitad de la capacidad de la NPU sigue disponible. Las siguientes limitaciones son cuellos de botella comunes en la visión embebida.
Durante la inferencia de IA, la NPU lee continuamente imágenes y pesos del modelo desde la memoria y escribe mapas de características intermedios de vuelta a la memoria. El ancho de banda de la DDR determina la velocidad de estas transferencias. Cuando el ancho de banda es insuficiente, incluso una NPU con amplia capacidad de procesamiento debe esperar a que lleguen los datos, lo que impide mejorar la velocidad de fotogramas. En la mayoría de los proyectos multicámara en plataformas RK, el ancho de banda se satura cuando solo se utiliza una pequeña parte de la capacidad de la NPU.
Los búferes de imagen, los pesos de los modelos de IA y los mapas de características intermedios consumen memoria. El uso de memoria aumenta considerablemente cuando varios canales operan simultáneamente. La falta de memoria puede provocar que la aplicación falle. Los dispositivos integrados generalmente carecen de memoria virtual, por lo que una condición de falta de memoria (OOM) puede causar que el dispositivo se detenga.
Las imágenes sin procesar capturadas por las cámaras requieren recorte, escalado y conversión de espacio de color. Parte del preprocesamiento lo realiza el hardware del ISP, mientras que otra parte utiliza recursos de la CPU. La adquisición con varias cámaras aumenta la demanda de preprocesamiento y puede introducir latencia en todo el proceso, incluso cuando la NPU está inactiva.
El pico de TOPS anunciado de un chip corresponde a su consumo máximo de energía. La mayoría de los dispositivos integrados no tienen ventilador y no pueden mantener una carga NPU completa durante largos periodos. Incluso cuando la capacidad de cómputo teórica es alta, las condiciones térmicas limitan la capacidad disponible para un funcionamiento continuo.
Si un modelo de IA contiene operadores especiales que la NPU no puede acelerar, estos se ejecutan en la CPU. El procesamiento de IA en la CPU es lento y puede ralentizar considerablemente el proceso, incluso cuando la capacidad de la NPU es suficiente. Verifique la compatibilidad con la aceleración de operadores antes de seleccionar la plataforma.
1. Establezca la carga de trabajo base y el modo de operación. Defina el flujo de trabajo de IA: resolución, velocidad de fotogramas, número de canales, estrategia de activación (continua o basada en eventos), ejecución en paralelo o compartida, lista de modelos y precisión de implementación. Preste especial atención a cómo se programan los múltiples canales.
2. Cuantifique las cargas de trabajo del modelo y exporte GMAC/s. Utilice herramientas para exportar GMAC/s para cada modelo, separando el cálculo acelerado por NPU del posprocesamiento de la CPU.
3. Realice mediciones en la placa objetivo para determinar la eficiencia de ejecución. Convierta los modelos al formato de plataforma en SoC candidatos como el RK3576 o el RK3588. Mida el tiempo de inferencia por fotograma para determinar el rendimiento real de ese modelo en esa NPU. Este es el paso más importante para eliminar las discrepancias en las estimaciones teóricas: todas las estimaciones deben calibrarse con mediciones a nivel de placa en lugar de fórmulas genéricas.
4. Agregue las cargas de trabajo multicanal y evalúe los cuellos de botella del sistema. Evalúe tanto el funcionamiento normal en estado estable como el pico máximo en el peor de los casos, cuando todos los canales se activan simultáneamente. Verifique el ancho de banda de la memoria DDR y el uso de la memoria al mismo tiempo. Muchos proyectos multicámara de RK agotan el ancho de banda mientras que la capacidad de procesamiento aún está disponible.
5. Reserve un margen adecuado y establezca límites. Utilice un margen de 1,1 a 1,2 para productos a corto plazo con algoritmos prácticamente fijos, y de 1,3 a 1,4 para productos que se prevé que reciban actualizaciones del modelo. El margen debe cubrir la evolución del modelo, los escenarios de máxima demanda y la sobrecarga de la planificación, en lugar de un sobredimensionamiento arbitrario. Establezca simultáneamente los límites de coste y consumo energético de la lista de materiales.
6.1 Uso exclusivo de chips TOPS y una tasa de utilización fija
Aplicar una tasa de utilización fija del 40 % a los TOPS anunciados puede sobreestimar los requisitos de computación varias veces y desviarse significativamente de las condiciones reales de ingeniería. La utilización varía sustancialmente entre los distintos modelos y arquitecturas de NPU.
6.2 Multiplicación por el número de canales e ignorando el tiempo compartido
En el modo de tiempo compartido, la NPU procesa los canales de forma secuencial y su capacidad de cómputo se reutiliza. Multiplicar simplemente el número de canales por la demanda de cómputo de un solo canal puede sobreestimar gravemente los requisitos, lo que resulta en un chip con una potencia excesiva y un coste innecesario.
6.3 Evaluación del cálculo de la NPU pero ignorando el ancho de banda de la DDR
En los proyectos de visión multicámara, los cuellos de botella por ancho de banda son mucho más frecuentes que los de procesamiento. La NPU puede tener una capacidad considerable, pero la transferencia de datos no puede seguir el ritmo, lo que limita la velocidad de fotogramas. En estos proyectos, es fundamental evaluar primero el ancho de banda.
6.4 Consideración de la carga promedio pero ignorando los picos transitorios
Un producto puede funcionar con poca carga la mayor parte del tiempo, pero experimentar picos transitorios cuando todas las cámaras activan la IA simultáneamente. El diseño debe adaptarse a estos picos, pero una cola de tareas puede suavizar la demanda transitoria, por lo que no es necesario dimensionar el chip directamente para satisfacer la demanda máxima de procesamiento.
6.5 Contar únicamente el cálculo del modelo e ignorar la sobrecarga del sistema
Muchas estimaciones solo tienen en cuenta el GMAC de la infraestructura de IA e ignoran el preprocesamiento del ISP, la copia de imágenes y el posprocesamiento de la CPU. Incluso con suficiente capacidad de NPU, estos costos adicionales aumentan la latencia de extremo a extremo e impiden alcanzar la velocidad de fotogramas esperada.
Enumera todos los parámetros de la cámara: resolución, velocidad de fotogramas y número de canales. Confirma si los canales utilizan programación paralela o compartida.
Exporte el GMAC para cada modelo y distinga el cálculo de la NPU del posprocesamiento de la CPU.
Mida el tiempo de inferencia de un solo modelo en las plataformas candidatas para determinar la eficiencia de ejecución real.
Agrupar las cargas de trabajo multicanal y evaluar la utilización de la capacidad de cómputo de la NPU en condiciones estables y de máxima demanda.
Mida el ancho de banda de la memoria DDR y el uso de la memoria para determinar si el ancho de banda es el cuello de botella.
Validar los operadores del modelo y confirmar la compatibilidad con la aceleración de hardware de la NPU para evitar el uso de la CPU como mecanismo de respaldo.
Reserve capacidad de procesamiento según la hoja de ruta de actualización del producto y establezca límites de coste y consumo energético en la lista de materiales.
Ejecute pruebas de estrés prolongadas con activadores multicanal simultáneos. Compruebe la variación de la velocidad de fotogramas y los fallos provocados por el agotamiento de la memoria.
Dimensionar la capacidad de la NPU para visión embebida no es un simple ejercicio matemático que se base en la aplicación de la fórmula TOPS. Las estimaciones teóricas solo proporcionan una referencia inicial para la planificación. La validación final debe realizarse en la placa de desarrollo del chip de destino.
Una evaluación completa sigue esta secuencia: determinar si el procesamiento es el cuello de botella → confirmar la programación paralela o compartida → medir el GMAC del modelo → priorizar la evaluación del ancho de banda DDR → calibrar mediante pruebas a nivel de placa → reservar el margen de procesamiento adecuado.
El objetivo es equilibrar el rendimiento, el consumo de energía y el coste. Se debe seleccionar la capacidad suficiente para la tarea en lugar de buscar picos de NPU TOPS cada vez mayores.
Nuestro MV11 es una plataforma de computación de fusión de visión y navegación inercial con cuatro cámaras sincronizadas por hardware, basada en el procesador de alto rendimiento Rockchip RK3576. Incluye una NPU de 6 TOPS y 4 GB de memoria LPDDR4, y admite sincronización a nivel de microsegundos entre las cuatro cámaras. Entre las aplicaciones adecuadas se incluyen el reconocimiento y la detección robótica, VIO, SLAM y la recopilación de datos EGO multicámara. Puede servir como plataforma de hardware para las pruebas de computación, ancho de banda y programación multicanal a nivel de placa descritas anteriormente. Hay muestras disponibles para la evaluación inicial del proyecto, y se pueden personalizar soluciones de visión completas para facilitar la implementación. Contáctenos en [email protected].
Noticias destacadas2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
