Mange indlejrede enheder, herunder robotter, smartkameraer og industrielle visionsterminaler, bruger nu NPU'er til at køre AI-visionsalgoritmer. En NPU er en hardwareenhed i en chip dedikeret til AI-inferens.
Når de vælger en chip, ser mange teams først på dens NPU TOPS-vurdering og antager, at et højere tal betyder en kraftigere chip. I praksis støder produktudvikling på to typiske problemer:
Den første er utilstrækkelig beregningskapacitet. Enheden kører med en lav billedhastighed, videoen hakker, billeder tabes, når flere kameraer kører samtidigt, og AI-genkendelse kan mislykkes.
Det andet er for stor kapacitet. Chippen er dyr, bruger mere strøm og genererer betydelig varme. Uudnyttet computerkapacitet reducerer profitmarginerne.
En vigtig teknisk overvejelse er, at ydeevnen i mange embedded vision-projekter er begrænset af billedoverførsler, hukommelsesbåndbredde eller CPU-baseret downstream-behandling snarere end NPU-beregningskapacitet.
Beregningsplanlægning kræver ikke en lang liste af tekniske termer. At skelne mellem to nøglebegreber hjælper med at forhindre chipspecifikationer i at blive misvisende.
TOPS-tallet, der annonceres af chipleverandører, er teoretisk peak computing performance: den maksimale processorkapacitet, en NPU kan opnå ved fuld belastning under ideelle laboratorieforhold. Produktdesign kræver headroom, så peak performance kan ikke bruges direkte til dimensionering.
Vi bruger GMAC til at vurdere den beregningsmæssige arbejdsbyrde i en AI-model. En MAC er en grundlæggende multiplicerbar-akkumulerende operation, og GMAC repræsenterer en milliard sådanne operationer. Den måler mængden af beregninger i en model. Bemærk, at GMAC måler arbejdsbyrde, hvorimod GMAC/s måler gennemløb. Større modeller har højere GMAC-værdier.
NPU-udnyttelse er ikke en fast konstant. Den repræsenterer den andel af NPU-kapacitet, der bruges til effektiv beregning. For simple foldningsnetværk, såsom VIO-frontends eller letvægtsdetektionsmodeller, kan simple operatorer og grundig chipoptimering give en udnyttelse på 60%-80%. Modeller, der indeholder komplekse transformationer eller transformerblokke, kan kræve gentagen flisebelagt udførelse, hvilket reducerer udnyttelsen til 20% eller endnu mindre.
Anvendelse af en fast udnyttelsesgrad på 40 % er en væsentlig årsag til unøjagtige estimater. Opløsning påvirker også direkte arbejdsbyrden: en fordobling af både bredden og højden af inputbilledet firedobler dets areal og firedobler cirka beregningen for den samme model.
TOPS er kun hardwareloftet. Start beregning af estimater med modellens GMAC-arbejdsbyrde, og kalibrer dem mod målinger på et udviklingskort. Vælg ikke en chip udelukkende ud fra dens teoretiske toppræstation.
Før du estimerer beregningskravene, skal du kortlægge produktets arbejdsbyrde. Den afgørende forskel er, om flere kameraer bruger parallel inferens eller tidsdelt, round-robin-inferens, da dette bestemmer, hvordan deres beregningskrav kombineres.
Parallel tilstand: Alle kameraer kører AI-inferens på samme tid, så deres beregningskrav tilføjes direkte. For eksempel kombinerer en sikkerhedsenhed med fire kameraer, der udfører objektdetektion i realtid med 30 billeder i sekundet på hver kanal, belastningen fra alle fire kanaler.
Tidsdelt tilstand: NPU'en er en delt hardwareressource, der behandler kamerabilleder sekventielt og håndterer én kanal ad gangen, efterhånden som kanalerne skiftes til at stå i kø. Mange implementeringer af multikamera-vision på Rockchip RK-platforme bruger denne tilgang.
Indsaml følgende oplysninger, når du definerer arbejdsbyrden:
Opløsning og billedhastighed for hvert kamera.
Listen over AI-modeller: hvilke modeller kører på NPU'en, og hvilke efterbehandlingsopgaver kører på CPU'en.
Kvantiseringspræcision: INT8 er et almindeligt valg til indlejrede enheder på grund af dens højere inferenseffektivitet.
Triggermetode: kontinuerlig AI-behandling på hver frame eller hændelsesudløst operation, hvor komplekse algoritmer kun starter, når en triggerbetingelse er opfyldt.
Vigtigt: Eksporter GMAC-modellen ved hjælp af værktøjer som RKNN eller ONNX Runtime i stedet for at estimere den ud fra erfaring. Brug af arbejdsbyrden fra en stor YOLO-model til at dimensionere et let VIO-netværk kan kraftigt overvurdere beregningskravene.
Vores MV11 er en hardwaresynkroniseret vision- og inertialnavigationsfusionsplatform med fire kameraer baseret på den højtydende Rockchip RK3576-processor. Den inkluderer en 6 TOPS NPU og 4 GB LPDDR4-hukommelse og understøtter synkronisering på mikrosekundniveau på tværs af fire kameraer. Egnede applikationer omfatter robotgenkendelse og -detektion, VIO-, SLAM- og multikamera-EGO-dataindsamling. Den kan fungere som hardwareplatform til de ovenfor beskrevne beregningstests på printkortniveau, båndbredde og multikanalplanlægningstests. Prøver er tilgængelige til tidlig projektevaluering, og komplette visionløsninger kan tilpasses for at understøtte implementering. Kontakt os på [email protected].
Mange projekter fokuserer kun på NPU TOPS under udvælgelsen, og opdager derefter under board-opstart, at systemet ikke kan følge med, selvom mere end halvdelen af NPU-kapaciteten stadig er tilgængelig. Følgende begrænsninger er almindelige flaskehalse i embedded vision.
Under AI-inferens læser NPU'en kontinuerligt billeder og modelvægte fra hukommelsen og skriver mellemliggende feature-kort tilbage til hukommelsen. DDR-båndbredde bestemmer hastigheden af disse overførsler. Når båndbredden er utilstrækkelig, skal selv en NPU med rigelig beregningskapacitet vente på data, hvilket forhindrer forbedringer af billedhastigheden. I de fleste projekter med flere kameraer på RK-platforme bliver båndbredden mættet, mens kun en lille del af NPU-kapaciteten bruges.
Billedbuffere, AI-modelvægte og mellemliggende funktionskort bruger alle hukommelse. Hukommelsesforbruget stiger betydeligt, når flere kanaler fungerer samtidigt. Utilstrækkelig hukommelse kan få applikationen til at gå ned. Indlejrede enheder mangler generelt virtuel hukommelse, så en tilstand med for lidt hukommelse (OOM) kan få enheden til at stoppe.
Råbilleder taget af kameraer kræver beskæring, skalering og farverumskonvertering. Noget forbehandling udføres af internetudbyderens hardware, mens noget bruger CPU-ressourcer. Optagelse af flere kameraer øger forbehandlingsbehovet og kan introducere latenstid på tværs af pipelinen, selv når NPU'en er inaktiv.
En chip's annoncerede peak TOPS svarer til det maksimale strømforbrug. De fleste indlejrede enheder er blæserløse og kan ikke opretholde fuld NPU-belastning over lange perioder. Selv når den teoretiske beregningskapacitet er høj, begrænser termiske forhold den tilgængelige kapacitet til vedvarende drift.
Hvis en AI-model indeholder særlige operatorer, som NPU'en ikke kan accelerere, falder de tilbage til CPU-udførelse. AI-behandling på CPU'en er langsom og kan alvorligt stoppe pipelinen, selv når NPU-kapaciteten er tilstrækkelig. Bekræft understøttelse af operatoracceleration, før du vælger platformen.
1. Fastlæg arbejdsbyrdens basislinje og driftstilstand. Definer AI-pipelinen: opløsning, billedhastighed, kanalantal, triggerstrategi (kontinuerlig eller hændelsesdrevet), parallel eller tidsdelt udførelse, modelliste og implementeringspræcision. Vær særlig opmærksom på, hvordan flere kanaler er planlagt.
2. Kvantificer modelarbejdsbelastninger og eksporter GMAC/s. Brug værktøjer til at eksportere GMAC/s for hver model, og adskil NPU-accelereret beregning fra CPU-efterbehandling.
3. Mål på målkortet for at bestemme udførelseseffektiviteten. Konverter modeller til platformformatet på kandidat-SoC'er såsom RK3576 eller RK3588. Mål inferenstiden pr. frame for at bestemme den faktiske gennemløbshastighed for den pågældende model på den pågældende NPU. Dette er det vigtigste trin for at eliminere uoverensstemmelser i papirestimater: alle estimater skal kalibreres i forhold til målinger på kortniveau i stedet for generiske formler.
4. Saml arbejdsbelastninger på flere kanaler og vurder systemets flaskehalse. Evaluer både normal drift i stabil tilstand og den værst tænkelige peak, når alle kanaler udløses samtidigt. Kontroller DDR-båndbredde og hukommelsesforbrug på samme tid. Mange RK-multikameraprojekter bruger båndbredden, mens computerkapaciteten forbliver tilgængelig.
5. Reserver passende råderum og sæt grænser. Brug en margin på 1,1-1,2 for kortsigtede produkter med stort set faste algoritmer og 1,3-1,4 for produkter, der forventes at modtage modelopdateringer. Råderummet bør dække modeludvikling, spidsbelastningsscenarier og planlægningsoverhead snarere end vilkårlig overprovisionering. Sæt BOM-omkostninger og effektgrænser på samme tid.
6.1 Brug af kun Chip TOPS og en fast udnyttelsesgrad
At anvende en fast udnyttelsesgrad på 40 % på den annoncerede TOPS kan overvurdere beregningskravene på flere måder og afvige betydeligt fra de faktiske tekniske forhold. Udnyttelsen varierer betydeligt på tværs af modeller og NPU-arkitekturer.
6.2 Multiplikation med kanalantal og ignorering af tidsdeling
I tidsdelt drift behandler NPU'en kanalerne efter tur, og dens beregningskapacitet genbruges. Blot at gange antallet af kanaler med enkeltkanals beregningsbehov kan overvurdere kravene alvorligt, hvilket resulterer i en overdrevet og unødvendigt dyr chip.
6.3 Vurdering af NPU-beregning, men ignorering af DDR-båndbredde
Båndbreddeflaskehalse er meget mere almindelige end beregningsflaskehalse i projekter med flere kameraer. NPU'en kan have betydelig kapacitet tilbage, men dataoverførsler kan ikke følge med, hvilket begrænser billedhastigheden. Båndbredde skal først vurderes i projekter med flere kameraer.
6.4 Hensyntagen til gennemsnitlig belastning, men ignorering af forbigående spidsbelastninger
Et produkt kan fungere ved lav belastning det meste af tiden, men opleve forbigående spidsbelastninger, når alle kameraer udløser AI samtidigt. Designet skal kunne håndtere disse spidsbelastninger, men en opgavekø kan udjævne den forbigående efterspørgsel, så chippen behøver ikke nødvendigvis at blive dimensioneret direkte til den maksimale beregningsefterspørgsel.
6.5 Kun tællende modelberegning og ignorering af systemoverhead
Mange estimater medregner kun AI-backbonens GMAC og ignorerer internetudbyderens forbehandling, billedkopiering og CPU-efterbehandling. Selv med tilstrækkelig NPU-kapacitet øger disse overheadomkostninger end-to-end latency og forhindrer, at den forventede billedhastighed opnås.
Angiv alle kameraparametre: opløsning, billedhastighed og kanalantal. Bekræft, om kanalerne bruger parallel eller tidsdelt planlægning.
Eksporter GMAC for hver model og skeln mellem NPU-beregning og CPU-efterbehandling.
Mål inferenstid for enkeltmodeller på kandidatplatforme for at fastslå den faktiske udførelseseffektivitet.
Aggreger flerkanals arbejdsbelastninger og vurder NPU-beregningsudnyttelsen under steady-state og spidsbelastningsforhold.
Mål DDR-båndbredde og hukommelsesforbrug for at afgøre, om båndbredden er flaskehalsen.
Valider modeloperatorer og bekræft understøttelse af NPU-hardwareacceleration for at undgå CPU-fallback.
Reserver beregningskapacitet i henhold til produktopdateringskøreplanen, og indstil styklisteomkostninger og strømgrænser.
Kør udvidede stresstests med samtidige flerkanalsudløsere. Kontroller variationer i billedhastighed og nedbrud forårsaget af hukommelsesudmattelse.
Dimensionering af NPU-kapacitet til indlejret vision er ikke en simpel matematisk øvelse i forbindelse med anvendelse af en TOPS-formel. Papirestimater giver kun en tidlig planlægningsreference. Den endelige validering skal udføres på målchippens udviklingsprintkort.
En komplet vurdering følger denne sekvens: afgør, om beregning er flaskehalsen → bekræft parallel eller tidsdelt planlægning → mål GMAC-modellen → prioriter vurdering af DDR-båndbredde → kalibrer gennem test på kortniveau → reserver passende beregningskapacitet.
Målet er at finde balance mellem ydeevne, strømforbrug og omkostninger. Vælg tilstrækkelig kapacitet til opgaven i stedet for at stræbe efter stadigt højere NPU-topper.
Vores MV11 er en hardwaresynkroniseret vision- og inertialnavigationsfusionsplatform med fire kameraer baseret på den højtydende Rockchip RK3576-processor. Den inkluderer en 6 TOPS NPU og 4 GB LPDDR4-hukommelse og understøtter synkronisering på mikrosekundniveau på tværs af fire kameraer. Egnede applikationer omfatter robotgenkendelse og -detektion, VIO-, SLAM- og multikamera-EGO-dataindsamling. Den kan fungere som hardwareplatform til de ovenfor beskrevne beregningstests på printkortniveau, båndbredde og multikanalplanlægningstests. Prøver er tilgængelige til tidlig projektevaluering, og komplette visionløsninger kan tilpasses for at understøtte implementering. Kontakt os på [email protected].
Seneste nyheder2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
