Många inbyggda enheter, inklusive robotar, smarta kameror och industriella visionterminaler, använder idag NPUs för att köra AI-visionalgoritmer. En NPU är en hårdvaruenhet inom en chip som är dedikerad åt AI-inferens.
Vid val av chip tittar många team först på dess NPU TOPS-betyg och antar att ett högre tal innebär en kraftfullare chip. I praktiken stöter produktutvecklingen på två typiska problem:
Det första är otillräcklig beräkningskapacitet. Enheten kör med låg bildfrekvens, videon hoppas, bilder släpps när flera kameror arbetar samtidigt och AI-genkänning kan misslyckas.
Det andra är överdriven kapacitet. Kretsen är dyr, förbrukar mer ström och genererar betydlig värme. Oanvänd beräkningskapacitet minskar vinstmarginalerna.
En viktig ingenjörsmässig övervägning är att prestandan i många inbäddade visionprojekt begränsas av bildöverföringar, minnesbandbredd eller CPU-baserad efterföljande behandling snarare än NPU:s beräkningskapacitet.
Beräkningsplanering kräver inte en lång lista med tekniska termer. Att skilja mellan två nyckelbegrepp hjälper till att förhindra att kretsens specifikationer blir missvisande.
TOPS-värdet som kretstillverkare annonserar är teoretisk toppprestanda: den maximala bearbetningskapacitet som en NPU kan uppnå vid full belastning under idealiska laboratorieförhållanden. Produktutformningar kräver marginal, så toppprestandan kan inte användas direkt för dimensionering.
Vi använder GMAC för att bedöma beräkningsbelastningen för en AI-modell. En MAC är en grundläggande multiplikations- och ackumuleringsoperation, och GMAC representerar en miljard sådana operationer. Det mäter mängden beräkning i en modell. Observera att GMAC mäter belastning, medan GMAC/s mäter genomströmning. Större modeller har högre GMAC-värden.
NPU-utnyttjandet är inte en fast konstant. Det representerar andelen av NPU-kapaciteten som används för effektiv beräkning. För enkla faltande nätverk, såsom VIO-främrendar eller lättviktiga detekteringsmodeller, kan enkla operatorer och omfattande chipoptimering ge ett utnyttjande på 60–80 %. Modeller som innehåller komplexa transformationer eller Transformer-block kan kräva upprepad tiled-körning, vilket minskar utnyttjandet till 20 % eller ännu lägre.
Att använda en fast utnyttjningsgrad på 40 % är en huvudsaklig orsak till felaktiga uppskattningar. Upplösningen påverkar också arbetsbelastningen direkt: att fördubbla både bredden och höjden på inmatningsbilden kvadrerar dess area och ungefär kvadrerar beräkningsmängden för samma modell.
TOPS är endast hårdvarans takvärde. Börja beräkna uppskattningar med modellens GMAC-arbetsbelastning och justera dem mot mätningar på en utvecklingskort. Välj inte en chip enbart utifrån dess teoretiska maxprestanda.
Innan du uppskattar beräkningskraven bör du kartlägga produkten arbetsbelastning. Den avgörande skillnaden är om flera kameror använder parallell inferens eller tidsdelad, rundroterande inferens, eftersom detta bestämmer hur deras beräkningskrav kombineras.
Parallellt läge: Alla kameror kör AI-inferens samtidigt, så deras beräkningskrav adderas direkt. Till exempel kombinerar en säkerhetsanordning med fyra kameror som utför realtidsobjektdetektering vid 30 bilder per sekund på varje kanal belastningen från alla fyra kanalerna.
Tidsdelat läge: NPU:n är en delad hårdvaruresurs som behandlar kamerabilder sekventiellt, där en kanal bearbetas i taget medan kanalerna turas om i en kö. Många flerkamerabaserade visionimplementeringar på Rockchip RK-plattformar använder detta tillvägagångssätt.
Samla in följande information när arbetsbelastningen definieras:
Upplösning och bildfrekvens för varje kamera.
AI-modelllistan: vilka modeller som körs på NPU:n och vilka efterbearbetningsuppgifter som körs på CPU:n.
Kvantiseringsprecision: INT8 är ett vanligt val för inbyggda enheter på grund av dess högre inferenseffektivitet.
Utlösningsmetod: kontinuerlig AI-behandling på varje bildruta eller händelseutlöst drift, där komplexa algoritmer startar endast när en utlösande villkor uppfylls.
Viktigt: Exportera modellen GMAC med verktyg som RKNN eller ONNX Runtime i stället för att uppskatta den utifrån erfarenhet. Att använda arbetsbelastningen från en stor YOLO-modell för att dimensionera ett lättviktigt VIO-nätverk kan allvarligt överskatta beräkningskraven.
Vår MV11 är en fyrcamera-hårdvarusynkroniserad vision- och tröghetsnavigationsfusionsberäkningsplattform baserad på högpresterande Rockchip RK3576-processorn. Den inkluderar en 6 TOPS NPU och 4 GB LPDDR4-minne och stödjer mikrosekundsnivå-synkronisering över fyra kameror. Lämpliga tillämpningar inkluderar robotisk igenkänning och detektering, VIO, SLAM samt samling av flerkamera-EGO-data. Den kan fungera som hårdvaruplattform för de ovan beskrivna bräd-nivå-beräknings-, bandbredds- och flerkanalsschemaläggnings-testerna. Provexemplar finns tillgängliga för tidig projektutvärdering, och fullständiga vision-lösningar kan anpassas för att stödja distribution. Kontakta oss på [email protected].
Många projekt fokuserar endast på NPU:s TOPS under urvalet, för att sedan upptäcka vid board bring-up att systemet inte kan hålla jämna steg trots att mer än hälften av NPU-kapaciteten fortfarande är tillgänglig. Följande begränsningar är vanliga flaskhalsar i inbyggd vision.
Under AI-inferens läser NPU:n kontinuerligt bilder och modellvärden från minnet och skriver tillbaka mellanliggande funktionskartor till minnet. DDR-bandbredden avgör hastigheten för dessa överföringar. När bandbredden är otillräcklig måste även en NPU med omfattande beräkningskapacitet vänta på data, vilket förhindrar förbättringar av bildfrekvensen. I de flesta flerkameraprojekt på RK-plattformar blir bandbredden belastad samtidigt som endast en liten del av NPU-kapaciteten utnyttjas.
Bildbuffert, AI-modellens vikter och mellanliggande funktionskartor använder alla minne. Minnesanvändningen ökar kraftigt när flera kanaler arbetar samtidigt. Otillräckligt minne kan få applikationen att krascha. Inbäddade enheter saknar i allmänhet virtuellt minne, så en out-of-memory (OOM)-situation kan få enheten att stanna helt.
Råbilder som tas av kameror kräver beskärning, skalning och färgrymdsomvandling. Viss förbehandling utförs av ISP-hårdvaran, medan annan förbehandling använder CPU-resurser. Multikamerainhämtning ökar förbehandlingskraven och kan introducera latens i hela datapipeline även när NPU är inaktiv.
En chips annonserad topp-TOPS motsvarar topp-effektförbrukning. De flesta inbäddade enheter är fläklösa och kan inte upprätthålla full NPU-belastning under långa perioder. Även om den teoretiska beräkningskapaciteten är hög begränsar termiska förhållanden den kapacitet som är tillgänglig för kontinuerlig drift.
Om en AI-modell innehåller specialoperatorer som NPU:n inte kan accelerera, utförs dessa istället på CPU:n. AI-bearbetning på CPU:n är långsam och kan allvarligt bromsa pipeline:n även när NPU-kapaciteten är tillräcklig. Verifiera stöd för operatoracceleration innan plattformen väljs.
1. Fastställ arbetsbelastningsbaslinjen och driftsläget. Definiera AI-pipeline:n: upplösning, bildfrekvens, antal kanaler, utlösarstrategi (kontinuerlig eller händelsestyrd), parallell eller tidsdelad körning, modelllista och distributionsprecision. Fäst särskild uppmärksamhet på hur flera kanaler schemaläggs.
2. Kvantifiera modellarbetsbelastningar och exportera GMAC/s. Använd verktyg för att exportera GMAC/s för varje modell, med separat redovisning av NPU-accelererad beräkning och CPU-baserad efterbearbetning.
3. Mät på målbrädan för att fastställa utförandeeffektiviteten. Konvertera modeller till plattformsformatet på kandidat-SoC:er såsom RK3576 eller RK3588. Mät inferenstiden per bildruta för att fastställa den faktiska genomströmningen för den modellen på den NPU:n. Detta är det viktigaste steget för att eliminera avvikelser i uppskattningar från vetenskapliga artiklar: alla uppskattningar måste kalibreras mot mätningar på bräd-nivå snarare än mot generiska formler.
4. Sammanfoga flerkanaliga arbetsbelastningar och utvärdera systembegränsningar. Utvärdera både normal drift i stationärt tillfälle och värsta fallet vid toppbelastning, då alla kanaler utlöses samtidigt. Kontrollera DDR-bandbredd och minnesanvändning samtidigt. Många RK-flermaskinsprojekt förbrukar hela bandbredden medan beräkningskapaciteten fortfarande är oanvänd.
5. Reservera lämpligt marginalutrymme och sätt gränser. Använd en marginal på 1,1–1,2 för kortsiktiga produkter med främst fasta algoritmer och 1,3–1,4 för produkter som förväntas få modelluppdateringar. Marginalutrymmet bör täcka modellutveckling, toppscenarier och schemaläggningsbelastning snarare än godtycklig överskapning. Sätt BOM-kostnads- och effektgränser samtidigt.
6.1 Att endast använda chip-TOPS och en fast utnyttjandegrad
Att tillämpa en fast utnyttjandegrad på 40 % på de annonserade TOPS-värdena kan överdriva beräkningskraven flera gånger och avvika kraftigt från verkliga tekniska förhållanden. Utnyttjandegraden varierar kraftigt mellan modeller och NPU-arkitekturer.
6.2 Att multiplicera med antalet kanaler och bortse från tidsdelning
Vid tidsdelad drift behandlar NPU-processor kanalerna i tur och ordning, och dess beräkningskapacitet återanvänds. Att helt enkelt multiplicera antalet kanaler med beräkningskraven för en enskild kanal kan allvarligt överskatta kraven, vilket leder till en överdimensionerad och onödigt dyr chip.
6.3 Att bedöma NPU:s beräkningskapacitet men bortse från DDR-bandbredden
Bandbreddsbottleneck är mycket vanligare än beräkningsbottleneck i flerkamerabaserade visionprojekt. NPU:n kan ha betydlig obnyttjad kapacitet kvar, men datatransfererna kan inte hålla jämna steg, vilket begränsar bildfrekvensen. Bandbredden måste därför bedömas först i flerkameraprojekt.
6.4 Att ta hänsyn endast till genomsnittsbelastningen men bortse från tillfälliga toppbelastningar
En produkt kan drivas vid låg belastning under större delen av tiden, men uppleva tillfälliga toppbelastningar när alla kameror utlöser AI samtidigt. Designen måste kunna hantera dessa toppar, men en uppgiftskö kan jämna ut den tillfälliga efterfrågan, så chipet behöver inte nödvändigtvis dimensioneras direkt efter den maximala beräkningsbelastningen.
6.5 Att räkna endast med modellberäkningar och bortse från systemets överhead
Många uppskattningar räknar endast med AI-backbonens GMAC och ignorerar ISP-förbearbetning, bildkopiering och CPU-efterbearbetning. Även med tillräcklig NPU-kapacitet ökar dessa overheads den totala svarstiden och förhindrar att den förväntade bildfrekvensen uppnås.
Lista alla kameraparametrar: upplösning, bildfrekvens och antal kanaler. Bekräfta om kanalerna använder parallell eller tidsdelad schemaläggning.
Exportera GMAC för varje modell och skilj åt NPU-beräkning från CPU-efterbearbetning.
Mät inferenstiden för en enskild modell på potentiella plattformar för att fastställa den faktiska körningseffektiviteten.
Sammanfoga arbetsbelastningar för flera kanaler och utvärdera NPU-beräkningsutnyttjandet under både stationära och toppbelastningsförhållanden.
Mät DDR-bandbredden och minnesanvändningen för att avgöra om bandbredden är flaskhalsen.
Verifiera modelloperatorer och bekräfta stöd för maskinvaruacceleration på NPU:n för att undvika CPU-återfall.
Reservera beräkningsutrymme enligt produktuppdateringsvägkartan och ställ in BOM-kostnader och effektgränser.
Kör utökade stressprov med samtidiga utlösningar på flera kanaler. Kontrollera varierande bildfrekvens och krascher orsakade av minnesutmattning.
Att dimensionera NPU-kapaciteten för inbyggd vision är inte en enkel matematisk övning som innebär att tillämpa en TOPS-formel. Uppskattningar från litteraturen ger endast en tidig planeringsreferens. Slutlig validering måste utföras på målchipets utvecklingskort.
En fullständig bedömning följer denna sekvens: avgör om beräkning är flaskhalsen → bekräfta parallell eller tidsdelad schemaläggning → mät modellens GMAC → prioritera bedömning av DDR-bandbredd → kalibrera genom provning på kortnivå → reservera lämpligt beräkningsutrymme.
Målet är att balansera prestanda, efforförbrukning och kostnad. Välj tillräcklig kapacitet för uppgiften i stället för att sträva efter allt högre topp-NPU-TOPS.
Vår MV11 är en fyrcamera-hårdvarusynkroniserad vision- och tröghetsnavigationsfusionsberäkningsplattform baserad på högpresterande Rockchip RK3576-processorn. Den inkluderar en 6 TOPS NPU och 4 GB LPDDR4-minne och stödjer mikrosekundsnivå-synkronisering över fyra kameror. Lämpliga tillämpningar inkluderar robotisk igenkänning och detektering, VIO, SLAM samt samling av flerkamera-EGO-data. Den kan fungera som hårdvaruplattform för de ovan beskrivna bräd-nivå-beräknings-, bandbredds- och flerkanalsschemaläggnings-testerna. Provexemplar finns tillgängliga för tidig projektutvärdering, och fullständiga vision-lösningar kan anpassas för att stödja distribution. Kontakta oss på [email protected].
Senaste nytt2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
