×
Molti dispositivi embedded, tra cui robot, telecamere intelligenti e terminali di visione industriale, utilizzano ormai le NPU (Nuclear Processing Unit) per eseguire algoritmi di visione basati sull'intelligenza artificiale. Una NPU è un'unità hardware all'interno di un chip dedicata all'inferenza dell'IA.
Quando si sceglie un chip, molti team guardano innanzitutto al suo punteggio NPU TOPS e presumono che un numero più alto significhi un chip più potente. In pratica, lo sviluppo del prodotto si imbatte in due problemi tipici:
Il primo problema è la capacità di elaborazione insufficiente. Il dispositivo funziona a un basso frame rate, il video scatta, si perdono fotogrammi quando più telecamere operano simultaneamente e il riconoscimento tramite intelligenza artificiale può fallire.
Il secondo problema è la capacità eccessiva. Il chip è costoso, consuma più energia e genera molto calore. La capacità di calcolo inutilizzata riduce i margini di profitto.
Un aspetto ingegneristico fondamentale da considerare è che, in molti progetti di visione embedded, le prestazioni sono limitate dal trasferimento delle immagini, dalla larghezza di banda della memoria o dall'elaborazione a valle basata sulla CPU, piuttosto che dalla capacità di calcolo della NPU.
La pianificazione computazionale non richiede un lungo elenco di termini tecnici. Distinguere due concetti chiave aiuta a evitare che le specifiche dei chip risultino fuorvianti.
Il valore TOPS pubblicizzato dai produttori di chip rappresenta le prestazioni di calcolo di picco teoriche: la massima capacità di elaborazione che una NPU può raggiungere a pieno carico in condizioni di laboratorio ideali. La progettazione dei prodotti richiede un margine di sicurezza, pertanto le prestazioni di picco non possono essere utilizzate direttamente per il dimensionamento.
Utilizziamo il GMAC per valutare il carico computazionale di un modello di intelligenza artificiale. Un MAC è un'operazione di moltiplicazione-accumulazione di base e il GMAC rappresenta un miliardo di tali operazioni. Misura la quantità di calcolo in un modello. Si noti che il GMAC misura il carico di lavoro, mentre il GMAC/s misura la velocità di elaborazione. I modelli più grandi hanno valori di GMAC più elevati.
L'utilizzo della NPU non è una costante fissa. Rappresenta la percentuale di capacità della NPU utilizzata per l'elaborazione effettiva. Per reti convoluzionali semplici, come i front-end VIO o i modelli di rilevamento leggeri, operatori semplici e un'accurata ottimizzazione del chip possono raggiungere un utilizzo del 60%-80%. I modelli contenenti trasformazioni complesse o blocchi Transformer possono richiedere un'esecuzione ripetuta a blocchi, riducendo l'utilizzo al 20% o anche meno.
Applicare un tasso di utilizzo fisso del 40% è una delle principali cause di stime imprecise. Anche la risoluzione influisce direttamente sul carico di lavoro: raddoppiando sia la larghezza che l'altezza dell'immagine di input, la sua area quadruplica e, di conseguenza, anche il carico computazionale per lo stesso modello quadruplica approssimativamente.
TOPS rappresenta solo il limite massimo dell'hardware. Iniziate a calcolare le stime con il carico di lavoro GMAC del modello e calibratele confrontandole con le misurazioni effettuate su una scheda di sviluppo. Non scegliete un chip basandovi esclusivamente sulle sue prestazioni di picco teoriche.
Prima di stimare i requisiti di calcolo, è necessario mappare il carico di lavoro del prodotto. La distinzione fondamentale sta nel fatto che più telecamere utilizzino l'inferenza parallela o l'inferenza round-robin a tempo condiviso, poiché ciò determina come vengono combinate le loro richieste di calcolo.
Modalità parallela: tutte le telecamere eseguono l'inferenza AI contemporaneamente, quindi i loro requisiti di calcolo vengono sommati direttamente. Ad esempio, un dispositivo di sicurezza con quattro telecamere che eseguono il rilevamento di oggetti in tempo reale a 30 fotogrammi al secondo su ciascun canale combina il carico di tutti e quattro i canali.
Modalità time-shared: l'NPU è una risorsa hardware condivisa che elabora le immagini delle telecamere in sequenza, gestendo un canale alla volta, in base all'ordine di arrivo dei canali in coda. Molte implementazioni di visione multicamera su piattaforme Rockchip RK utilizzano questo approccio.
Raccogli le seguenti informazioni durante la definizione del carico di lavoro:
Risoluzione e frequenza dei fotogrammi per ciascuna telecamera.
Elenco dei modelli di intelligenza artificiale: quali modelli vengono eseguiti sulla NPU e quali attività di post-elaborazione vengono eseguite sulla CPU.
Precisione di quantizzazione: INT8 è una scelta comune per i dispositivi embedded grazie alla sua maggiore efficienza di inferenza.
Metodo di attivazione: elaborazione continua dell'IA su ogni fotogramma, oppure funzionamento attivato da eventi in cui algoritmi complessi si avviano solo quando viene soddisfatta una condizione di attivazione.
Importante: esportare il modello GMAC utilizzando strumenti come RKNN o ONNX Runtime anziché stimarlo in base all'esperienza. Utilizzare il carico di lavoro di un modello YOLO di grandi dimensioni per dimensionare una rete VIO leggera può sovrastimare notevolmente i requisiti di calcolo.
La nostra MV11 è una piattaforma di elaborazione per la fusione di visione e navigazione inerziale con sincronizzazione hardware a quattro telecamere, basata sul processore ad alte prestazioni Rockchip RK3576. Include una NPU da 6 TOPS e 4 GB di memoria LPDDR4 e supporta la sincronizzazione a livello di microsecondi tra le quattro telecamere. Le applicazioni adatte includono il riconoscimento e il rilevamento robotico, VIO, SLAM e la raccolta dati EGO multi-camera. Può fungere da piattaforma hardware per i test di elaborazione a livello di scheda, larghezza di banda e pianificazione multicanale descritti in precedenza. Sono disponibili campioni per la valutazione preliminare del progetto e soluzioni di visione complete possono essere personalizzate per supportare l'implementazione. Contattateci all'indirizzo [email protected].
Molti progetti si concentrano solo sul numero di NPU TOPS durante la fase di selezione, per poi scoprire, durante l'avvio della scheda, che il sistema non riesce a tenere il passo, nonostante rimanga disponibile più della metà della capacità NPU. I seguenti vincoli rappresentano colli di bottiglia comuni nella visione embedded.
Durante l'inferenza AI, la NPU legge continuamente immagini e pesi del modello dalla memoria e riscrive mappe di caratteristiche intermedie nella memoria. La larghezza di banda della DDR determina la velocità di questi trasferimenti. Quando la larghezza di banda è insufficiente, anche una NPU con ampia capacità di calcolo deve attendere i dati, impedendo miglioramenti del frame rate. Nella maggior parte dei progetti multicamera su piattaforme RK, la larghezza di banda si satura mentre viene utilizzata solo una piccola parte della capacità della NPU.
I buffer delle immagini, i pesi dei modelli di intelligenza artificiale e le mappe di caratteristiche intermedie consumano tutti memoria. L'utilizzo della memoria aumenta considerevolmente quando più canali operano simultaneamente. Una memoria insufficiente può causare l'arresto anomalo dell'applicazione. I dispositivi embedded in genere non dispongono di memoria virtuale, quindi una condizione di memoria insufficiente (OOM, Out-of-Memory) può causare l'arresto del dispositivo.
Le immagini grezze acquisite dalle telecamere richiedono ritaglio, ridimensionamento e conversione dello spazio colore. Parte della preelaborazione viene eseguita dall'hardware dell'ISP, mentre un'altra parte utilizza le risorse della CPU. L'acquisizione multicamera aumenta la richiesta di preelaborazione e può introdurre latenza lungo la pipeline anche quando l'NPU è inattiva.
Il valore TOPS (Top-of-Surface Power) dichiarato per un chip corrisponde al consumo energetico massimo. La maggior parte dei dispositivi embedded è priva di ventole e non può sostenere il pieno carico della NPU (Nuclear Processing Unit) per lunghi periodi. Anche quando la capacità di calcolo teorica è elevata, le condizioni termiche limitano la capacità disponibile per il funzionamento continuativo.
Se un modello di IA contiene operatori speciali che la NPU non è in grado di accelerare, l'esecuzione viene eseguita dalla CPU. L'elaborazione dell'IA sulla CPU è lenta e può rallentare notevolmente la pipeline anche quando la capacità della NPU è sufficiente. Verificare il supporto per l'accelerazione degli operatori prima di selezionare la piattaforma.
1. Stabilire la baseline del carico di lavoro e la modalità operativa. Definire la pipeline di IA: risoluzione, frame rate, numero di canali, strategia di attivazione (continua o basata su eventi), esecuzione parallela o time-shared, elenco dei modelli e precisione di implementazione. Prestare particolare attenzione alla modalità di pianificazione dei canali multipli.
2. Quantificare i carichi di lavoro del modello ed esportare GMAC/s. Utilizzare strumenti per esportare GMAC/s per ciascun modello, separando il calcolo accelerato dalla NPU dall'elaborazione successiva della CPU.
3. Eseguire misurazioni sulla scheda di destinazione per determinare l'efficienza di esecuzione. Convertire i modelli nel formato della piattaforma sui SoC candidati, come RK3576 o RK3588. Misurare il tempo di inferenza per frame per determinare il throughput effettivo di quel modello su quella NPU. Questo è il passaggio più importante per eliminare le discrepanze nelle stime teoriche: tutte le stime devono essere calibrate rispetto a misurazioni a livello di scheda, anziché a formule generiche.
4. Aggregare i carichi di lavoro multicanale e valutare i colli di bottiglia del sistema. Valutare sia il normale funzionamento a regime che il picco peggiore, quando tutti i canali si attivano simultaneamente. Verificare contemporaneamente la larghezza di banda DDR e l'utilizzo della memoria. Molti progetti multicamera RK esauriscono la larghezza di banda mentre la capacità di calcolo rimane disponibile.
5. Riservare un margine di sicurezza adeguato e impostare dei limiti. Utilizzare un margine di 1,1-1,2 per i prodotti a breve termine con algoritmi sostanzialmente fissi e di 1,3-1,4 per i prodotti che si prevede riceveranno aggiornamenti del modello. Il margine di sicurezza dovrebbe coprire l'evoluzione del modello, gli scenari di picco e i costi generali di pianificazione, piuttosto che un sovradimensionamento arbitrario. Impostare contemporaneamente i limiti di costo e di consumo energetico della distinta base.
6.1 Utilizzo esclusivo di Chip TOPS e di un tasso di utilizzo fisso
Applicare un tasso di utilizzo fisso del 40% ai valori TOPS pubblicizzati può sovrastimare i requisiti di calcolo di diverse volte e discostarsi significativamente dalle reali condizioni di ingegneria. L'utilizzo varia notevolmente a seconda dei modelli e delle architetture NPU.
6.2 Moltiplicazione per il numero di canali e ignoranza della condivisione del tempo
Nella modalità time-sharing, l'NPU elabora i canali uno alla volta e la sua capacità di calcolo viene riutilizzata. Moltiplicare semplicemente il numero di canali per la richiesta di calcolo di un singolo canale può sovrastimare notevolmente i requisiti, con il risultato di un chip sovradimensionato e inutilmente costoso.
6.3 Valutazione della potenza di calcolo della NPU ignorando la larghezza di banda della DDR
Nei progetti di visione multicamera, i colli di bottiglia dovuti alla larghezza di banda sono molto più comuni di quelli dovuti alla potenza di calcolo. L'NPU potrebbe avere ancora una capacità considerevole, ma i trasferimenti di dati non riescono a tenere il passo, limitando la frequenza dei fotogrammi. Nei progetti multicamera, è fondamentale valutare innanzitutto la larghezza di banda.
6.4 Considerazione del carico medio ma ignoranza dei picchi transitori
Un prodotto può funzionare a basso carico per la maggior parte del tempo, ma subire picchi transitori quando tutte le telecamere attivano simultaneamente l'intelligenza artificiale. Il progetto deve essere in grado di gestire questi picchi, ma una coda di attività può attenuare la domanda transitoria, quindi non è necessario che il chip sia dimensionato direttamente in base al picco di richiesta di calcolo.
6.5 Calcolo del modello basato esclusivamente sul conteggio e ignorando l'overhead di sistema.
Molte stime considerano solo il GMAC dell'infrastruttura AI e ignorano la preelaborazione dell'ISP, la copia delle immagini e la post-elaborazione della CPU. Anche con una capacità NPU sufficiente, questi overhead aumentano la latenza end-to-end e impediscono il raggiungimento del frame rate previsto.
Elenca tutti i parametri della telecamera: risoluzione, frequenza dei fotogrammi e numero di canali. Conferma se i canali utilizzano la programmazione parallela o a condivisione di tempo.
Esporta il GMAC per ciascun modello e distingui il calcolo NPU dall'elaborazione successiva della CPU.
Misurare il tempo di inferenza del singolo modello sulle piattaforme candidate per stabilire l'effettiva efficienza di esecuzione.
Aggrega i carichi di lavoro multicanale e valuta l'utilizzo della potenza di calcolo della NPU in condizioni di regime e di picco.
Misurare la larghezza di banda DDR e l'utilizzo della memoria per determinare se la larghezza di banda rappresenta il collo di bottiglia.
Convalidare gli operatori del modello e confermare il supporto per l'accelerazione hardware NPU per evitare il fallback alla CPU.
Riservare la capacità di calcolo necessaria in base alla roadmap degli aggiornamenti del prodotto e impostare i limiti di costo e di consumo energetico della distinta base.
Esegui test di stress prolungati con trigger multicanale simultanei. Verifica le variazioni del frame rate e i crash causati dall'esaurimento della memoria.
Dimensionare la capacità delle NPU per la visione embedded non è un semplice esercizio matematico che si basa sull'applicazione di una formula TOPS. Le stime teoriche forniscono solo un riferimento iniziale per la pianificazione. La validazione finale deve essere eseguita sulla scheda di sviluppo del chip di destinazione.
Una valutazione completa segue questa sequenza: determinare se il calcolo rappresenta il collo di bottiglia → confermare la pianificazione parallela o a condivisione di tempo → misurare il GMAC del modello → dare priorità alla valutazione della larghezza di banda DDR → calibrare tramite test a livello di scheda → riservare un margine di calcolo adeguato.
L'obiettivo è trovare un equilibrio tra prestazioni, consumo energetico e costi. È preferibile selezionare una capacità sufficiente per l'attività piuttosto che puntare a valori di NPU TOPS di picco sempre più elevati.
La nostra MV11 è una piattaforma di elaborazione per la fusione di visione e navigazione inerziale con sincronizzazione hardware a quattro telecamere, basata sul processore ad alte prestazioni Rockchip RK3576. Include una NPU da 6 TOPS e 4 GB di memoria LPDDR4 e supporta la sincronizzazione a livello di microsecondi tra le quattro telecamere. Le applicazioni adatte includono il riconoscimento e il rilevamento robotico, VIO, SLAM e la raccolta dati EGO multi-camera. Può fungere da piattaforma hardware per i test di elaborazione a livello di scheda, larghezza di banda e pianificazione multicanale descritti in precedenza. Sono disponibili campioni per la valutazione preliminare del progetto e soluzioni di visione complete possono essere personalizzate per supportare l'implementazione. Contattateci all'indirizzo [email protected].
Notizie in primo piano2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
