Como dimensionar a capacidade de computação da NPU para produtos de visão embarcados

1. Compreendendo o problema que o planejamento de capacidade da NPU resolve.

Muitos dispositivos embarcados, incluindo robôs, câmeras inteligentes e terminais de visão industrial, agora usam NPUs para executar algoritmos de visão de IA. Uma NPU é uma unidade de hardware dentro de um chip dedicada à inferência de IA.

Ao escolher um chip, muitas equipes primeiro analisam sua classificação NPU TOPS e presumem que um número maior significa um chip mais poderoso. Na prática, o desenvolvimento de produtos enfrenta dois problemas típicos:

O primeiro problema é a capacidade computacional insuficiente. O dispositivo opera com uma baixa taxa de quadros, o vídeo trava, há perda de quadros quando várias câmeras operam simultaneamente e o reconhecimento por IA pode falhar.

O segundo problema é a capacidade excessiva. O chip é caro, consome mais energia e gera muito calor. A capacidade computacional não utilizada reduz as margens de lucro.

Uma consideração fundamental de engenharia é que, em muitos projetos de visão embarcada, o desempenho é limitado pelas transferências de imagem, pela largura de banda da memória ou pelo processamento subsequente baseado em CPU, e não pela capacidade de computação da NPU.

2. Conceitos básicos e duas métricas principais

O planejamento computacional não exige uma longa lista de termos técnicos. Distinguir dois conceitos-chave ajuda a evitar que as especificações do chip se tornem enganosas.

O valor TOPS divulgado pelos fabricantes de chips representa o desempenho computacional máximo teórico: a capacidade máxima de processamento que uma NPU pode atingir em plena carga, sob condições ideais de laboratório. Os projetos de produtos precisam de margem de segurança, portanto, o desempenho máximo não pode ser usado diretamente para dimensionamento.

Usamos o GMAC para avaliar a carga computacional de um modelo de IA. Uma operação MAC (multiplicação-acumulação) é uma operação básica, e o GMAC representa um bilhão dessas operações. Ele mede a quantidade de computação em um modelo. Observe que o GMAC mede a carga de trabalho, enquanto o GMAC/s mede a taxa de transferência. Modelos maiores têm valores de GMAC mais altos.

A utilização da NPU não é uma constante fixa. Ela representa a proporção da capacidade da NPU usada para computação efetiva. Para redes convolucionais simples, como front-ends VIO ou modelos de detecção leves, operadores simples e otimização completa do chip podem resultar em uma utilização de 60% a 80%. Modelos que contêm transformações complexas ou blocos Transformer podem exigir execução repetida em blocos, reduzindo a utilização para 20% ou até menos.

Aplicar uma taxa de utilização fixa de 40% é uma das principais causas de estimativas imprecisas. A resolução também afeta diretamente a carga de trabalho: dobrar a largura e a altura da imagem de entrada quadruplica sua área e aproximadamente quadruplica o custo computacional para o mesmo modelo.

O TOPS representa apenas o limite máximo do hardware. Comece as estimativas de computação com a carga de trabalho GMAC do modelo e calibre-as com base em medições em uma placa de desenvolvimento. Não selecione um chip apenas com base em seu desempenho máximo teórico.

3. Defina Aplicação Requisitos e agendamento de múltiplas câmeras

Antes de estimar os requisitos de computação, mapeie a carga de trabalho do produto. A distinção crucial reside em saber se várias câmeras utilizam inferência paralela ou inferência compartilhada em sistema round-robin, pois isso determina como suas demandas de computação são combinadas.

Modo paralelo: Todas as câmeras executam inferência de IA simultaneamente, portanto, seus requisitos de computação são somados diretamente. Por exemplo, um dispositivo de segurança com quatro câmeras realizando detecção de objetos em tempo real a 30 quadros por segundo em cada canal combina a carga de todos os quatro canais.

Modo de tempo compartilhado: A NPU é um recurso de hardware compartilhado que processa imagens da câmera sequencialmente, lidando com um canal por vez, à medida que os canais se revezam em uma fila. Muitas implementações de visão com múltiplas câmeras em plataformas Rockchip RK utilizam essa abordagem.

Ao definir a carga de trabalho, reúna as seguintes informações:

Resolução e taxa de quadros para cada câmera.

Lista de modelos de IA: quais modelos são executados na NPU e quais tarefas de pós-processamento são executadas na CPU.

Precisão de quantização: INT8 é uma escolha comum para dispositivos embarcados devido à sua maior eficiência de inferência.

Método de ativação: processamento contínuo de IA em cada quadro ou operação acionada por evento, na qual algoritmos complexos são iniciados somente quando uma condição de ativação é atendida.

Importante: Exporte o modelo GMAC usando ferramentas como RKNN ou ONNX Runtime, em vez de estimá-lo com base na experiência. Usar a carga de trabalho de um modelo YOLO grande para dimensionar uma rede VIO leve pode superestimar severamente os requisitos de computação.

Nosso MV11 é uma plataforma de computação de fusão de visão e navegação inercial com sincronização de hardware para quatro câmeras, baseada no processador de alto desempenho Rockchip RK3576. Inclui uma NPU de 6 TOPS e 4 GB de memória LPDDR4, suportando sincronização em nível de microssegundos entre as quatro câmeras. Aplicações adequadas incluem reconhecimento e detecção robótica, VIO, SLAM e coleta de dados EGO multicâmera. Pode servir como plataforma de hardware para os testes de computação em nível de placa, largura de banda e agendamento multicanal descritos acima. Amostras estão disponíveis para avaliação inicial de projetos, e soluções completas de visão podem ser personalizadas para suportar a implementação. Entre em contato conosco pelo e-mail [email protected].

4. Restrições que frequentemente limitam o desempenho antes que a computação da NPU seja executada.

Muitos projetos focam apenas no NPU TOPS durante a seleção, e depois descobrem, durante a inicialização da placa, que o sistema não consegue acompanhar, mesmo com mais da metade da capacidade da NPU disponível. As seguintes restrições são gargalos comuns em sistemas de visão embarcados.

4.1 Largura de banda da memória DDR

Durante a inferência de IA, a NPU lê continuamente imagens e pesos do modelo da memória e grava mapas de características intermediários de volta na memória. A largura de banda da DDR determina a velocidade dessas transferências. Quando a largura de banda é insuficiente, mesmo uma NPU com ampla capacidade computacional precisa esperar pelos dados, o que impede melhorias na taxa de quadros. Na maioria dos projetos multicâmera em plataformas RK, a largura de banda fica saturada enquanto apenas uma pequena parte da capacidade da NPU é utilizada.

4.2 Capacidade de memória

Os buffers de imagem, os pesos dos modelos de IA e os mapas de características intermediários consomem memória. O uso de memória aumenta substancialmente quando vários canais operam simultaneamente. Memória insuficiente pode causar a falha do aplicativo. Dispositivos embarcados geralmente não possuem memória virtual, portanto, uma condição de falta de memória (OOM) pode fazer com que o dispositivo pare de funcionar.

4.3 Pré-processamento de imagens ISP

As imagens brutas capturadas pelas câmeras exigem recorte, redimensionamento e conversão de espaço de cores. Parte do pré-processamento é realizada pelo hardware do ISP, enquanto outra parte utiliza recursos da CPU. A aquisição com múltiplas câmeras aumenta a demanda de pré-processamento e pode introduzir latência em todo o pipeline, mesmo quando a NPU está ociosa.

4.4 Consumo de energia e gerenciamento térmico

O TOPS máximo anunciado de um chip corresponde ao consumo máximo de energia. A maioria dos dispositivos embarcados não possui ventoinhas e não consegue manter a carga máxima da NPU por longos períodos. Mesmo quando a capacidade computacional teórica é alta, as condições térmicas limitam a capacidade disponível para operação contínua.

4.5 Compatibilidade do Operador

Se um modelo de IA contiver operadores especiais que a NPU não consegue acelerar, ele recorrerá à execução na CPU. O processamento de IA na CPU é lento e pode causar sérios atrasos no pipeline, mesmo quando a capacidade da NPU for suficiente. Verifique o suporte à aceleração de operadores antes de selecionar a plataforma.

5. Um fluxo de trabalho de planejamento prático

1. Estabeleça a linha de base da carga de trabalho e o modo de operação. Defina o pipeline de IA: resolução, taxa de quadros, número de canais, estratégia de disparo (contínua ou orientada a eventos), execução paralela ou compartilhada, lista de modelos e precisão de implantação. Preste atenção especial à forma como vários canais são agendados.

2. Quantifique as cargas de trabalho do modelo e exporte o GMAC/s. Utilize ferramentas para exportar o GMAC/s para cada modelo, separando a computação acelerada por NPU do pós-processamento por CPU.

3. Realize medições na placa alvo para determinar a eficiência de execução. Converta os modelos para o formato da plataforma em SoCs candidatos, como o RK3576 ou o RK3588. Meça o tempo de inferência por quadro para determinar a taxa de transferência real desse modelo na NPU. Esta é a etapa mais importante para eliminar discrepâncias nas estimativas do artigo: todas as estimativas devem ser calibradas com base em medições no nível da placa, em vez de fórmulas genéricas.

4. Agregue cargas de trabalho multicanal e avalie gargalos do sistema. Avalie tanto a operação normal em estado estacionário quanto o pico no pior caso, quando todos os canais são acionados simultaneamente. Verifique a largura de banda da DDR e o uso de memória ao mesmo tempo. Muitos projetos multicâmera da RK esgotam a largura de banda enquanto a capacidade de computação permanece disponível.

5. Reserve uma margem de segurança adequada e defina limites. Use uma margem de 1,1 a 1,2 para produtos de curto prazo com algoritmos em grande parte fixos e de 1,3 a 1,4 para produtos que devem receber atualizações de modelo. A margem de segurança deve cobrir a evolução do modelo, cenários de pico e sobrecarga de agendamento, em vez de um provisionamento excessivo arbitrário. Defina os limites de custo e consumo de energia da lista de materiais simultaneamente.

6. Cinco Armadilhas Comuns no Planejamento da Capacidade de Unidades Não Produtivas de Pesquisa (NPU)

6.1 Utilizando apenas TOPS de chip e uma taxa de utilização fixa

Aplicar uma taxa de utilização fixa de 40% ao TOPS anunciado pode superestimar os requisitos de computação em várias vezes e divergir significativamente das condições reais de engenharia. A utilização varia substancialmente entre modelos e arquiteturas de NPU.

6.2 Multiplicando pelo número de canais e ignorando o compartilhamento de tempo

Em operação de tempo compartilhado, a NPU processa os canais sequencialmente e sua capacidade computacional é reutilizada. Multiplicar simplesmente o número de canais pela demanda computacional de um único canal pode superestimar severamente os requisitos, resultando em um chip superdimensionado e desnecessariamente caro.

6.3 Avaliando o poder computacional da NPU, mas ignorando a largura de banda da DDR

Em projetos de visão com múltiplas câmeras, os gargalos de largura de banda são muito mais comuns do que os gargalos de computação. A NPU pode ter capacidade substancial restante, mas as transferências de dados não conseguem acompanhar, limitando a taxa de quadros. A largura de banda deve ser avaliada em primeiro lugar em projetos com múltiplas câmeras.

6.4 Considerando a carga média, mas ignorando os picos transitórios

Um produto pode operar com baixa carga na maior parte do tempo, mas apresentar picos transitórios quando todas as câmeras acionam a IA simultaneamente. O projeto deve acomodar esses picos, mas uma fila de tarefas pode suavizar a demanda transitória, de modo que o chip não precisa necessariamente ser dimensionado diretamente para a demanda máxima de computação.

6.5 Contabilizando apenas os cálculos do modelo e ignorando a sobrecarga do sistema

Muitas estimativas consideram apenas o GMAC da infraestrutura de IA e ignoram o pré-processamento do ISP, a cópia de imagens e o pós-processamento da CPU. Mesmo com capacidade suficiente da NPU, essas sobrecargas aumentam a latência de ponta a ponta e impedem que a taxa de quadros esperada seja alcançada.

7. Lista de verificação para implementação na seleção da plataforma

Liste todos os parâmetros da câmera: resolução, taxa de quadros e número de canais. Confirme se os canais usam agendamento paralelo ou compartilhado por tempo.

Exporte o GMAC para cada modelo e distinga a computação da NPU do pós-processamento da CPU.

Meça o tempo de inferência de modelo único nas plataformas candidatas para estabelecer a eficiência real de execução.

Agregar cargas de trabalho multicanal e avaliar a utilização computacional da NPU em condições de estado estacionário e de pico.

Meça a largura de banda da DDR e o uso de memória para determinar se a largura de banda é o gargalo.

Valide os operadores do modelo e confirme o suporte à aceleração de hardware da NPU para evitar o uso da CPU como alternativa.

Reserve capacidade computacional de acordo com o roteiro de atualizações do produto e defina os limites de custo e consumo de energia da lista de materiais.

Execute testes de estresse prolongados com gatilhos simultâneos em vários canais. Verifique a variação da taxa de quadros e as falhas causadas por esgotamento de memória.

Dimensionar a capacidade da NPU para visão embarcada não é um simples exercício matemático de aplicar uma fórmula TOPS. As estimativas apresentadas neste artigo fornecem apenas uma referência inicial para o planejamento. A validação final deve ser realizada na placa de desenvolvimento do chip alvo.

Uma avaliação completa segue esta sequência: determinar se o gargalo está na computação → confirmar o agendamento paralelo ou compartilhado por tempo → medir o GMAC do modelo → priorizar a avaliação da largura de banda DDR → calibrar por meio de testes em nível de placa → reservar a margem de computação adequada.

O objetivo é equilibrar desempenho, consumo de energia e custo. Selecione capacidade suficiente para a tarefa, em vez de buscar picos de NPU cada vez maiores.

Nosso MV11 é uma plataforma de computação de fusão de visão e navegação inercial com sincronização de hardware para quatro câmeras, baseada no processador de alto desempenho Rockchip RK3576. Inclui uma NPU de 6 TOPS e 4 GB de memória LPDDR4, suportando sincronização em nível de microssegundos entre as quatro câmeras. Aplicações adequadas incluem reconhecimento e detecção robótica, VIO, SLAM e coleta de dados EGO multicâmera. Pode servir como plataforma de hardware para os testes de computação em nível de placa, largura de banda e agendamento multicanal descritos acima. Amostras estão disponíveis para avaliação inicial de projetos, e soluções completas de visão podem ser personalizadas para suportar a implementação. Entre em contato conosco pelo e-mail [email protected].