Cum se dimensionează capacitatea de calcul NPU pentru produsele de viziune integrate

1. Înțelegerea problemei pe care o rezolvă planificarea capacității NPU

Multe dispozitive integrate, inclusiv roboți, camere inteligente și terminale de viziune industrială, utilizează acum NPU-uri pentru a rula algoritmi de viziune bazați pe inteligență artificială. Un NPU este o unitate hardware dintr-un cip dedicată inferenței bazate pe inteligență artificială.

Atunci când aleg un cip, multe echipe analizează mai întâi ratingul NPU TOPS și presupun că un număr mai mare înseamnă un cip mai puternic. În practică, dezvoltarea de produse se confruntă cu două probleme tipice:

Prima este capacitatea de calcul insuficientă. Dispozitivul rulează la o rată de cadre redusă, videoclipul se întrerupe, cadrele sunt pierdute atunci când mai multe camere funcționează simultan, iar recunoașterea AI poate eșua.

A doua problemă este capacitatea excesivă. Cipul este scump, consumă mai multă energie și generează o căldură substanțială. Capacitatea de calcul neutilizată reduce marjele de profit.

O considerație inginerească cheie este că, în multe proiecte de viziune integrată, performanța este limitată de transferurile de imagini, lățimea de bandă a memoriei sau procesarea downstream bazată pe CPU, mai degrabă decât de capacitatea de calcul NPU.

2. Concepte de bază și două metrici principale

Planificarea calculului nu necesită o listă lungă de termeni tehnici. Distincția a două concepte cheie ajută la prevenirea inducerii în eroare a specificațiilor cipurilor.

Cifra TOPS promovată de furnizorii de cipuri reprezintă performanța teoretică maximă de calcul: capacitatea maximă de procesare pe care o unitate de putere (NPU) o poate atinge la sarcină maximă în condiții ideale de laborator. Proiectarea produselor necesită spațiu liber, astfel încât performanța maximă nu poate fi utilizată direct pentru dimensionare.

Folosim GMAC pentru a evalua volumul de lucru computațional al unui model de inteligență artificială. Un MAC este o operație de bază de multiplicare-acumulare, iar GMAC reprezintă un miliard de astfel de operații. Acesta măsoară cantitatea de calcul dintr-un model. Rețineți că GMAC măsoară volumul de lucru, în timp ce GMAC/s măsoară debitul. Modelele mai mari au valori GMAC mai mari.

Utilizarea NPU nu este o constantă fixă. Reprezintă proporția din capacitatea NPU utilizată pentru calcul eficient. Pentru rețele convoluționale simple, cum ar fi front-end-urile VIO sau modelele de detecție ușoare, operatorii simpli și optimizarea temeinică a cipurilor pot duce la o utilizare de 60%–80%. Modelele care conțin transformări complexe sau blocuri Transformer pot necesita execuție repetată în tile, reducând utilizarea la 20% sau chiar mai puțin.

Aplicarea unei rate de utilizare fixe de 40% este o cauză majoră a estimărilor inexacte. Rezoluția afectează, de asemenea, în mod direct volumul de lucru: dublarea atât a lățimii, cât și a înălțimii imaginii de intrare cvadruplează suprafața acesteia și aproximativ cvadruplează calculul pentru același model.

TOPS este doar plafonul hardware. Începeți estimările de calcul cu sarcina de lucru GMAC a modelului și calibrați-le în funcție de măsurătorile de pe o placă de dezvoltare. Nu selectați un cip doar pe baza performanței sale teoretice de vârf.

3. Definiți Aplicație Cerințe și programare pentru mai multe camere

Înainte de a estima cerințele de calcul, cartografiați volumul de lucru al produsului. Distincția critică este dacă mai multe camere utilizează inferență paralelă sau inferență round-robin, partajată în timp, deoarece aceasta determină modul în care sunt combinate cerințele lor de calcul.

Mod paralel: Toate camerele rulează inferențe AI în același timp, astfel încât cerințele lor de calcul sunt adăugate direct. De exemplu, un dispozitiv de securitate cu patru camere care efectuează detectarea obiectelor în timp real la 30 de cadre pe secundă pe fiecare canal combină sarcina tuturor celor patru canale.

Mod partajat în timp: NPU este o resursă hardware partajată care procesează secvențial imaginile camerei, gestionând câte un canal pe rând, pe măsură ce canalele se schimbă într-o coadă. Multe implementări de vedere multi-cameră pe platformele Rockchip RK utilizează această abordare.

Colectați următoarele informații atunci când definiți volumul de lucru:

Rezoluție și rată de cadre pentru fiecare cameră.

Lista modelelor de inteligență artificială: ce modele rulează pe NPU și ce sarcini de post-procesare rulează pe CPU.

Precizia cuantizării: INT8 este o alegere obișnuită pentru dispozitivele integrate datorită eficienței sale mai mari de inferență.

Metodă de declanșare: procesare continuă prin inteligență artificială pe fiecare cadru sau operațiune declanșată de un eveniment în care algoritmi complecși pornesc numai atunci când este îndeplinită o condiție de declanșare.

Important: Exportați modelul GMAC folosind instrumente precum RKNN sau ONNX Runtime, în loc să îl estimați din experiență. Utilizarea volumului de lucru al unui model YOLO mare pentru a dimensiona o rețea VIO ușoară poate supraestima semnificativ cerințele de calcul.

MV11 este o platformă de fuziune a computerelor cu patru camere, sincronizată hardware-ul cu vederea și navigație inerțială, bazată pe procesorul Rockchip RK3576 de înaltă performanță. Include o unitate de procesare NPU 6 TOPS și 4 GB de memorie LPDDR4 și acceptă sincronizare la nivel de microsecundă între patru camere. Aplicațiile adecvate includ recunoașterea și detectarea robotică, VIO, SLAM și colectarea de date EGO multi-cameră. Poate servi drept platformă hardware pentru testele de calcul la nivel de placă, lățime de bandă și programare multi-canal descrise mai sus. Sunt disponibile mostre pentru evaluarea timpurie a proiectului, iar soluțiile complete de viziune pot fi personalizate pentru a sprijini implementarea. Contactați-ne la [email protected].

4. Restricții care limitează adesea performanța înainte ca NPU Compute să se înceapă

Multe proiecte se concentrează doar pe NPU TOPS în timpul selecției, apoi descoperă în timpul pornirii consiliului de administrare că sistemul nu poate ține pasul, chiar dacă mai mult de jumătate din capacitatea NPU rămâne disponibilă. Următoarele constrângeri sunt blocaje frecvente în viziunea integrată.

lățime de bandă a memoriei DDR de 4.1

În timpul inferenței AI, NPU citește continuu imagini și ponderi ale modelului din memorie și scrie hărți de caracteristici intermediare înapoi în memorie. Lățimea de bandă DDR determină viteza acestor transferuri. Când lățimea de bandă este insuficientă, chiar și un NPU cu o capacitate de calcul amplă trebuie să aștepte date, împiedicând îmbunătățirile ratei de cadre. În majoritatea proiectelor cu mai multe camere pe platforme RK, lățimea de bandă devine saturată, în timp ce este utilizată doar o mică parte din capacitatea NPU.

4.2 Capacitatea memoriei

Bufferele de imagine, ponderile modelului AI și hărțile de caracteristici intermediare consumă memorie. Utilizarea memoriei crește substanțial atunci când mai multe canale funcționează simultan. Memoria insuficientă poate bloca aplicația. Dispozitivele integrate, în general, nu au memorie virtuală, așa că o condiție de memorie insuficientă (OOM) poate provoca oprirea dispozitivului.

4.3 Preprocesarea imaginilor de către ISP

Imaginile brute capturate de camere necesită decupare, scalare și conversie a spațiului de culoare. O parte din preprocesare este efectuată de hardware-ul ISP-ului, în timp ce o parte utilizează resurse CPU. Achiziția multi-cameră crește cererea de preprocesare și poate introduce latență în întregul proces, chiar și atunci când unitatea de procesare a unității principale (NPU) este inactivă.

4.4 Consumul de energie și gestionarea termică

Consumul maxim de energie (TOPS) declarat al unui cip corespunde consumului maxim de energie. Majoritatea dispozitivelor integrate nu au ventilator și nu pot susține sarcina NPU completă pe perioade lungi de timp. Chiar și atunci când capacitatea teoretică de calcul este mare, condițiile termice limitează capacitatea disponibilă pentru funcționare susținută.

4.5 Compatibilitatea operatorilor

Dacă un model de inteligență artificială conține operatori speciali pe care NPU nu îi poate accelera, acesta recurge la execuția CPU. Procesarea AI pe CPU este lentă și poate bloca grav canalul chiar și atunci când capacitatea NPU este suficientă. Verificați suportul pentru accelerarea operatorilor înainte de a selecta platforma.

5. Un flux de lucru practic de planificare

1. Stabiliți nivelul de referință al volumului de lucru și modul de operare. Definiți conducta de inteligență artificială: rezoluția, rata de cadre, numărul de canale, strategia de declanșare (continuă sau bazată pe evenimente), execuția paralelă sau partajată în timp, lista de modele și precizia implementării. Acordați o atenție deosebită modului în care sunt programate canalele multiple.

2. Cuantificați sarcinile de lucru ale modelului și exportați GMAC/s. Folosiți instrumente pentru a exporta GMAC/s pentru fiecare model, separând calculul accelerat de NPU de post-procesarea CPU.

3. Măsurați pe placa țintă pentru a determina eficiența execuției. Convertiți modelele în formatul platformei pe SoC-uri candidate, cum ar fi RK3576 sau RK3588. Măsurați timpul de inferență per cadru pentru a determina debitul real al acelui model pe acel NPU. Acesta este cel mai important pas pentru eliminarea discrepanțelor din estimările pe hârtie: toate estimările trebuie calibrate în funcție de măsurătorile la nivel de placă, mai degrabă decât de formule generice.

4. Agregarea sarcinilor de lucru multicanal și evaluarea blocajelor sistemului. Evaluarea atât a funcționării normale în stare staționară, cât și a vârfului cel mai defavorabil, atunci când toate canalele se declanșează simultan. Verificarea simultană a lățimii de bandă DDR și a utilizării memoriei. Multe proiecte RK multi-cameră epuizează lățimea de bandă în timp ce capacitatea de calcul rămâne disponibilă.

5. Rezervați o marjă de rezervă adecvată și setați limite. Utilizați o marjă de 1,1–1,2 pentru produsele pe termen scurt cu algoritmi în mare parte ficși și de 1,3–1,4 pentru produsele despre care se așteaptă să primească actualizări ale modelului. Marja de rezervă ar trebui să acopere evoluția modelului, scenariile de vârf și cheltuielile generale de programare, mai degrabă decât o supraaprovizionare arbitrară. Setați costul BOM și limitele de putere în același timp.

6. Cinci capcane comune în planificarea capacității NPU

6.1 Utilizarea doar a Chip TOPS și a unei rate de utilizare fixe

Aplicarea unei rate de utilizare fixe de 40% la TOPS-ul anunțat poate supraestima cerințele de calcul de mai multe ori și poate diferi semnificativ de condițiile inginerești reale. Utilizarea variază substanțial în funcție de model și arhitecturi NPU.

6.2 Înmulțirea cu numărul de canale și ignorarea partajării timpului

În operarea cu partajare a timpului, NPU procesează canalele pe rând, iar capacitatea sa de calcul este reutilizată. Simpla înmulțire a numărului de canale cu cererea de calcul pe un singur canal poate supraestima semnificativ cerințele, rezultând un cip supradimensionat și inutil de costisitor.

6.3 Evaluarea calculului NPU, dar ignorarea lățimii de bandă DDR

Blocajele de lățime de bandă sunt mult mai frecvente decât blocajele de calcul în proiectele de viziune cu mai multe camere. Unitatea de procesare a datelor (NPU) poate avea o capacitate substanțială rămasă, dar transferurile de date nu pot ține pasul, limitând rata de cadre. Lățimea de bandă trebuie evaluată mai întâi în proiectele cu mai multe camere.

6.4 Luând în considerare sarcina medie, dar ignorând vârfurile tranzitorii

Un produs poate funcționa la sarcină redusă în majoritatea timpului, dar poate experimenta vârfuri tranzitorii atunci când toate camerele declanșează simultan inteligența artificială. Designul trebuie să facă față acestor vârfuri, dar o coadă de activități poate uniformiza cererea tranzitorie, astfel încât cipul nu trebuie neapărat să fie dimensionat direct în funcție de cererea maximă de calcul.

6.5 Numărarea doar a modelului de calcul și ignorarea cheltuielilor generale ale sistemului

Multe estimări iau în considerare doar GMAC-ul rețelei principale de inteligență artificială și ignoră preprocesarea ISP-ului, copierea imaginilor și postprocesarea CPU-ului. Chiar și cu o capacitate NPU suficientă, aceste costuri cresc latența end-to-end și împiedică atingerea ratei de cadre așteptate.

7. Listă de verificare pentru implementare pentru selectarea platformei

Enumerați toți parametrii camerei: rezoluția, rata de cadre și numărul de canale. Confirmați dacă canalele utilizează programarea paralelă sau partajată în timp.

Exportați GMAC pentru fiecare model și distingeți calculul NPU de post-procesarea CPU.

Măsurați timpul de inferență pentru un singur model pe platformele candidate pentru a stabili eficiența reală a execuției.

Agregați sarcini de lucru multicanal și evaluați utilizarea de calcul a unității de procesare a datelor (NPU) în condiții de stare stabilă și de vârf.

Măsurați lățimea de bandă DDR și utilizarea memoriei pentru a determina dacă lățimea de bandă este cauza blocajului.

Validați operatorii modelului și confirmați suportul pentru accelerarea hardware NPU pentru a evita necesitatea utilizării alternative a procesorului.

Rezervați spațiul de calcul conform planului de actualizare a produsului și setați limitele de cost și putere ale BOM-ului.

Execută teste de stres extinse cu declanșatoare simultane pe mai multe canale. Verifică variația ratei de cadre și blocările cauzate de epuizarea memoriei.

Dimensionarea capacității NPU pentru viziunea integrată nu este un simplu exercițiu matematic în aplicarea unei formule TOPS. Estimările pe hârtie oferă doar o referință inițială pentru planificare. Validarea finală trebuie efectuată pe placa de dezvoltare a cipului țintă.

O evaluare completă urmează această secvență: se determină dacă tehnologia de calcul reprezintă blocajul → se confirmă programarea paralelă sau partajată în timp → se măsoară modelul GMAC → se prioritizează evaluarea lățimii de bandă DDR → se calibrează prin testare la nivel de placă → se rezervă un spațiu de calcul adecvat.

Scopul este de a echilibra performanța, consumul de energie și costul. Selectați o capacitate suficientă pentru sarcină, în loc să urmăriți atingerea unor valori maxime din ce în ce mai mari ale NPU TOPS.

MV11 este o platformă de fuziune a computerelor cu patru camere, sincronizată hardware-ul cu vederea și navigație inerțială, bazată pe procesorul Rockchip RK3576 de înaltă performanță. Include o unitate de procesare NPU 6 TOPS și 4 GB de memorie LPDDR4 și acceptă sincronizare la nivel de microsecundă între patru camere. Aplicațiile adecvate includ recunoașterea și detectarea robotică, VIO, SLAM și colectarea de date EGO multi-cameră. Poate servi drept platformă hardware pentru testele de calcul la nivel de placă, lățime de bandă și programare multi-canal descrise mai sus. Sunt disponibile mostre pentru evaluarea timpurie a proiectului, iar soluțiile complete de viziune pot fi personalizate pentru a sprijini implementarea. Contactați-ne la [email protected].