Многи уграђени уређаји, укључујући роботе, паметне камере и индустријске терминале за вид, сада користе неуронске јединице (НПУ) за покретање алгоритама вештачке инференције. НПУ је хардверска јединица унутар чипа намењена закључивању на основу вештачке инференције.
Приликом избора чипа, многи тимови прво гледају његову NPU TOPS оцену и претпостављају да већи број значи снажнији чип. У пракси, развој производа се сусреће са два типична проблема:
Први је недовољан рачунарски капацитет. Уређај ради са малом брзином кадрова, видео се замућује, кадрови се губе када више камера ради истовремено, а препознавање помоћу вештачке интелигенције може да откаже.
Други је прекомерни капацитет. Чип је скуп, троши више енергије и генерише значајну топлоту. Неискоришћени рачунарски капацитет смањује профитне марже.
Кључно инжењерско разматрање је да су, у многим пројектима уграђеног вида, перформансе ограничене преносом слика, пропусним опсегом меморије или низводном обрадом заснованом на процесору, а не рачунарским капацитетом NPU-а.
Планирање рачунарства не захтева дугачак списак техничких термина. Разликовање два кључна концепта помаже у спречавању да спецификације чипова постану обмањујуће.
TOPS вредност коју рекламирају произвођачи чипова представља теоретске вршне рачунарске перформансе: максимални капацитет обраде који NPU може да постигне при пуном оптерећењу у идеалним лабораторијским условима. Дизајну производа је потребан простор за складиштење, тако да се вршне перформансе не могу директно користити за димензионисање.
Користимо GMAC за процену рачунарског оптерећења модела вештачке интелигенције. MAC је основна операција множења и акумулирања, а GMAC представља милијарду таквих операција. Он мери количину израчунавања у моделу. Треба напоменути да GMAC мери оптерећење, док GMAC/s мери пропусност. Већи модели имају веће GMAC вредности.
Искоришћеност NPU-а није фиксна константа. Она представља удео капацитета NPU-а који се користи за ефикасно израчунавање. За једноставне конволуционе мреже, као што су VIO фронт-ендови или лагани модели детекције, једноставни оператори и темељна оптимизација чипа могу довести до искоришћености од 60%–80%. Модели који садрже сложене трансформације или трансформаторске блокове могу захтевати поновљено извршавање по плочицама, смањујући искоришћеност на 20% или чак мање.
Примена фиксне стопе искоришћења од 40% је главни узрок нетачних процена. Резолуција такође директно утиче на оптерећење: удвостручавање и ширине и висине улазне слике учетворостручује њену површину и приближно учетворостручује израчунавање за исти модел.
TOPS је само горња граница хардверских перформанси. Почните процене израчунавања са GMAC оптерећењем модела и калибришите их у односу на мерења на развојној плочи. Не бирајте чип искључиво на основу његових теоретских вршних перформанси.
Пре него што процените захтеве за рачунарским ресурсима, мапирајте радно оптерећење производа. Кључна разлика је у томе да ли више камера користи паралелно закључивање или временски дељено, кружно закључивање, јер то одређује како се њихови захтеви за рачунарским ресурсима комбинују.
Паралелни режим: Све камере истовремено покрећу вештачку инференцију, тако да се њихови рачунарски захтеви директно додају. На пример, безбедносни уређај са четири камере које врше детекцију објеката у реалном времену брзином од 30 слика у секунди на сваком каналу комбинује оптерећење сва четири канала.
Режим дељења времена: NPU је дељени хардверски ресурс који обрађује слике са камере секвенцијално, обрађујући један канал истовремено док се канали смењују у реду. Многе имплементације система за вишекамерски видео на Rockchip RK платформама користе овај приступ.
Приликом дефинисања радног оптерећења прикупите следеће информације:
Резолуција и број слика у секунди за сваку камеру.
Листа модела вештачке интелигенције: који модели раде на NPU-у, а који задаци постпроцесне обраде се извршавају на CPU-у.
Прецизност квантизације: INT8 је главни избор за уграђене уређаје због веће ефикасности инференције.
Метод покретања: континуирана вештачка интелигенција (AI) обрада у сваком кадру или операција покретана догађајем у којој сложени алгоритми покрећу само када је испуњен услов за покретање.
Важно: Извезите модел GMAC користећи алате као што су RKNN или ONNX Runtime уместо да га процењујете на основу искуства. Коришћење радног оптерећења великог YOLO модела за димензионисање лагане VIO мреже може значајно преценити захтеве за рачунарством.
Наша MV11 је хардверски синхронизована платформа за рачунарство вида и инерцијалне навигације са четири камере, заснована на високоперформансном Rockchip RK3576 процесору. Укључује 6 TOPS NPU и 4 GB LPDDR4 меморије и подржава синхронизацију на микросекундном нивоу између четири камере. Погодне примене укључују роботско препознавање и детекцију, VIO, SLAM и прикупљање података са више камера EGO. Може послужити као хардверска платформа за горе описане тестове рачунарства на нивоу плоче, пропусног опсега и вишеканалног заказивања. Узорци су доступни за рану процену пројекта, а комплетна решења за вид могу се прилагодити како би подржала имплементацију. Контактирајте нас на [email protected].
Многи пројекти се фокусирају само на врхове неуронске електричне јединице (NPU TOPS) током селекције, а затим се током подешавања плоче открије да систем не може да одржи корак иако је више од половине капацитета NPU-а остало доступно. Следећа ограничења су уобичајена уска грла у уграђеном виду.
Током вештачке инференције, NPU континуирано чита слике и тежине модела из меморије и уписује међумапе карактеристика назад у меморију. Пропусни опсег DDR-а одређује брзину ових преноса. Када је пропусни опсег недовољан, чак и NPU са довољним рачунарским капацитетом мора да чека на податке, што спречава побољшања брзине кадрова. У већини пројеката са више камера на RK платформама, пропусни опсег постаје засићен док се користи само мали део капацитета NPU-а.
Бафери слика, тежине модела вештачке интелигенције и мапе средњих карактеристика троше меморију. Потрошња меморије значајно се повећава када више канала ради истовремено. Недовољно меморије може довести до пада апликације. Уграђеним уређајима генерално недостаје виртуелна меморија, тако да стање недостатка меморије (OOM) може довести до заустављања уређаја.
Сирове слике снимљене камерама захтевају обрезивање, скалирање и конверзију простора боја. Део претходне обраде обавља хардвер ISP-а, док део користи ресурсе CPU-а. Аквизиција са више камера повећава захтеве за претходном обрадом и може увести кашњење у цевоводу чак и када је NPU у стању мировања.
Оглашена вршна вредност TOPS чипа одговара вршној потрошњи енергије. Већина уграђених уређаја нема вентилатор и не може да издржи пуно оптерећење NPU-а током дужег периода. Чак и када је теоретски рачунарски капацитет висок, термички услови ограничавају капацитет доступан за континуирани рад.
Ако модел вештачке интелигенције садржи посебне операторе које NPU не може да убрза, они се враћају на извршавање CPU-а. Обрада вештачке интелигенције на CPU-у је спора и може озбиљно зауставити цевовод чак и када је капацитет NPU-а довољан. Проверите подршку за убрзање оператора пре него што изаберете платформу.
1. Утврдите основну линију радног оптерећења и режим рада. Дефинишите AI цевовод: резолуцију, брзину кадрова у секунди, број канала, стратегију окидача (континуирано или вођено догађајима), паралелно или временски дељено извршавање, листу модела и прецизност распоређивања. Обратите посебну пажњу на то како су заказани вишеструки канали.
2. Квантификујте радна оптерећења модела и извезите GMAC/ове. Користите алате за извоз GMAC/ова за сваки модел, одвајајући NPU-убрзано израчунавање од CPU постпроцесирања.
3. Мерење на циљној плочи да би се утврдила ефикасност извршавања. Конвертовање модела у формат платформе на кандидатским SoC-овима као што су RK3576 или RK3588. Мерење времена закључивања по фрејму да би се одредио стварни проток тог модела на том NPU-у. Ово је најважнији корак за елиминисање неслагања у проценама на папиру: све процене морају бити калибрисане у односу на мерења на нивоу плоче, а не на генеричке формуле.
4. Агрегирајте вишеканална радна оптерећења и процените системска уска грла. Процените и нормалан рад у стационарном стању и најгори могући врхунац када се сви канали покрећу истовремено. Проверите пропусни опсег DDR-а и коришћење меморије истовремено. Многи RK вишекамерни пројекти исцрпљују пропусни опсег док рачунарски капацитет остаје доступан.
5. Резервишите одговарајући простор за складиштење и поставите ограничења. Користите маргину од 1,1–1,2 за краткорочне производе са углавном фиксним алгоритмима и 1,3–1,4 за производе за које се очекује да ће добити ажурирања модела. Простор за складиштење треба да покрије еволуцију модела, сценарије вршних трошкова и оптерећење заказивања, а не произвољно прекомерно снабдевање. Истовремено поставите ограничења трошкова и снаге BOM-а.
6.1 Коришћење само чип TOPS-а и фиксне стопе искоришћења
Примена фиксне стопе искоришћења од 40% на оглашени TOPS може неколико пута преценити захтеве за рачунарством и значајно се разликовати од стварних инжењерских услова. Искоришћење значајно варира у зависности од модела и NPU архитектура.
6.2 Множење са бројем канала и игнорисање временске дељености
У временски дељеном раду, NPU обрађује канале редом и његов рачунарски капацитет се поново користи. Једноставно множење броја канала са рачунарским захтевима једног канала може значајно преценити захтеве, што резултира премоћним, непотребно скупим чипом.
6.3 Процена NPU израчунавања уз игнорисање DDR пропусног опсега
Уска грла пропусног опсега су много чешћа од уских грла у рачунарству у пројектима вида са више камера. NPU може имати значајан преостали капацитет, али пренос података не може да одржи темпо, што ограничава брзину кадрова. У пројектима са више камера, пропусни опсег се мора прво проценити.
6.4 Узимајући у обзир просечно оптерећење, али игноришући пролазне врхове
Производ може да ради са малим оптерећењем већину времена, али да доживи пролазне вршне оптерећења када све камере истовремено покрећу вештачку интелигенцију. Дизајн мора да прихвати ове вршне оптерећења, али редослед задатака може да ублажи пролазну потражњу, тако да чип не мора нужно бити димензионисан директно према вршној рачунарској потражњи.
6.5 Израчунавање модела само бројањем и игнорисање системских трошкова
Многе процене рачунају само GMAC окоснице вештачке интелигенције и игноришу претходну обраду интернетских услуга, копирање слика и постпроцесирање процесора. Чак и са довољним капацитетом неуронске јединице (NPU), ови трошкови повећавају латенцију од почетка до краја и спречавају постизање очекиване брзине кадрова.
Наведите све параметре камере: резолуцију, број кадрова у секунди и број канала. Потврдите да ли канали користе паралелно или временски дељено заказивање.
Експортујте GMAC за сваки модел и разликујте NPU израчунавање од CPU постпроцесирања.
Измерите време закључивања једног модела на платформама кандидатима да бисте утврдили стварну ефикасност извршавања.
Агрегирајте вишеканална радна оптерећења и процените искоришћеност NPU рачунара у стабилним и вршним условима.
Измерите пропусни опсег DDR-а и коришћење меморије да бисте утврдили да ли је пропусни опсег уско грло.
Валидирајте операторе модела и потврдите подршку за хардверско убрзање NPU-а како бисте избегли пад CPU-а.
Резервишите рачунарски простор у складу са планом ажурирања производа и поставите ограничења трошкова и снаге BOM-а.
Покрените продужене тестове оптерећења са истовременим вишеканалним окидачима. Проверите варијације брзине кадрова и падове изазване исцрпљењем меморије.
Одређивање капацитета NPU-а за уграђени вид није једноставна математичка вежба у примени TOPS формуле. Папирне процене пружају само рану референцу за планирање. Коначна валидација мора се извршити на развојној плочи циљног чипа.
Комплетна процена прати овај редослед: утврдити да ли је рачунарство уско грло → потврдити паралелно или временски дељено заказивање → измерити модел GMAC → дати приоритет процени пропусног опсега DDR → калибрисати тестирањем на нивоу плоче → резервисати одговарајући рачунарски простор.
Циљ је уравнотежити перформансе, потрошњу енергије и трошкове. Изаберите довољан капацитет за задатак уместо да тежите све већим вршним NPU TOPS-овима.
Наша MV11 је хардверски синхронизована платформа за рачунарство вида и инерцијалне навигације са четири камере, заснована на високоперформансном Rockchip RK3576 процесору. Укључује 6 TOPS NPU и 4 GB LPDDR4 меморије и подржава синхронизацију на микросекундном нивоу између четири камере. Погодне примене укључују роботско препознавање и детекцију, VIO, SLAM и прикупљање података са више камера EGO. Може послужити као хардверска платформа за горе описане тестове рачунарства на нивоу плоче, пропусног опсега и вишеканалног заказивања. Узорци су доступни за рану процену пројекта, а комплетна решења за вид могу се прилагодити како би подржала имплементацију. Контактирајте нас на [email protected].
Топла вест2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
