Maraming naka-embed na device, kabilang ang mga robot, smart camera, at industrial vision terminal, ang gumagamit na ngayon ng mga NPU upang patakbuhin ang mga AI vision algorithm. Ang NPU ay isang hardware unit sa loob ng isang chip na nakatuon sa AI inference.
Kapag pumipili ng chip, maraming koponan ang unang tumitingin sa NPU TOPS rating nito at ipinapalagay na ang mas mataas na numero ay nangangahulugan ng mas malakas na chip. Sa pagsasagawa, ang pagbuo ng produkto ay nahaharap sa dalawang karaniwang problema:
Ang una ay ang hindi sapat na kapasidad sa pag-compute. Gumagana ang device sa mababang frame rate, nauutal ang video, nawawala ang mga frame kapag maraming camera ang sabay-sabay na gumagana, at maaaring mabigo ang AI recognition.
Ang pangalawa ay ang labis na kapasidad. Ang chip ay mahal, kumokonsumo ng mas maraming kuryente at lumilikha ng malaking init. Ang hindi nagagamit na kapasidad ng compute ay nakakabawas sa mga margin ng kita.
Isang mahalagang konsiderasyon sa inhinyeriya ay sa maraming proyektong naka-embed na paningin, ang pagganap ay limitado ng mga paglilipat ng imahe, bandwidth ng memorya o CPU-based downstream processing sa halip na kapasidad ng pag-compute ng NPU.
Ang pagpaplano ng kompyut ay hindi nangangailangan ng mahabang listahan ng mga teknikal na termino. Ang pagkakaiba ng dalawang pangunahing konsepto ay nakakatulong upang maiwasan ang pagiging nakaliligaw ng mga detalye ng chip.
Ang bilang na TOPS na inaanunsyo ng mga nagtitinda ng chip ay ang teoretikal na peak compute performance: ang pinakamataas na kakayahan sa pagproseso na maaaring makamit ng isang NPU sa buong load sa ilalim ng mga ideal na kondisyon sa laboratoryo. Ang mga disenyo ng produkto ay nangangailangan ng headroom, kaya ang peak performance ay hindi maaaring direktang gamitin para sa pagsukat.
Ginagamit namin ang GMAC upang masuri ang computational workload ng isang AI model. Ang MAC ay isang basic multiply-accumulate operation, at ang GMAC ay kumakatawan sa isang bilyong ganitong operasyon. Sinusukat nito ang dami ng computation sa isang modelo. Tandaan na sinusukat ng GMAC ang workload, samantalang sinusukat ng GMAC/s ang throughput. Ang mas malalaking modelo ay may mas mataas na halaga ng GMAC.
Ang paggamit ng NPU ay hindi isang nakapirming constant. Kinakatawan nito ang proporsyon ng kapasidad ng NPU na ginagamit para sa epektibong pagkalkula. Para sa mga simpleng convolutional network, tulad ng mga VIO front end o mga lightweight detection model, ang mga simpleng operator at masusing chip optimization ay maaaring magbunga ng paggamit na 60%–80%. Ang mga modelong naglalaman ng mga kumplikadong transformasyon o mga bloke ng Transformer ay maaaring mangailangan ng paulit-ulit na tiled execution, na magbabawas sa paggamit sa 20% o mas mababa pa.
Ang paglalapat ng nakapirming rate ng paggamit na 40% ay isang pangunahing sanhi ng mga hindi tumpak na pagtatantya. Direktang nakakaapekto rin ang resolusyon sa workload: ang pagdoble sa lapad at taas ng input na imahe ay nagpapa-apat na beses sa lawak nito at humigit-kumulang nagpapa-apat na beses sa kalkulasyon para sa parehong modelo.
Ang TOPS ay ang hardware ceiling lamang. Simulan ang pagkalkula ng mga pagtatantya gamit ang workload ng GMAC ng modelo, at i-calibrate ang mga ito laban sa mga sukat sa isang development board. Huwag pumili ng isang chip batay lamang sa teoretikal na peak performance nito.
Bago tantyahin ang mga kinakailangan sa pag-compute, i-map muna ang workload ng produkto. Ang mahalagang pagkakaiba ay kung maraming camera ang gumagamit ng parallel inference o time-shared, round-robin inference, dahil ito ang nagtatakda kung paano pinagsasama ang kanilang mga pangangailangan sa pag-compute.
Parallel mode: Lahat ng camera ay sabay-sabay na nagpapatakbo ng AI inference, kaya ang kanilang mga kinakailangan sa compute ay direktang idinaragdag. Halimbawa, ang isang security device na may apat na camera na nagsasagawa ng real-time object detection sa 30 frames per second sa bawat channel ay pinagsasama ang load ng lahat ng apat na channel.
Time-shared mode: Ang NPU ay isang shared hardware resource na nagpoproseso ng mga imahe ng camera nang sunud-sunod, na humahawak sa isang channel sa bawat pagkakataon habang ang mga channel ay nagpapalitan sa isang pila. Maraming multi-camera vision implementation sa mga Rockchip RK platform ang gumagamit ng pamamaraang ito.
Kolektahin ang sumusunod na impormasyon kapag tinutukoy ang workload:
Resolusyon at frame rate para sa bawat kamera.
Ang listahan ng mga modelo ng AI: kung aling mga modelo ang tumatakbo sa NPU at kung aling mga post-processing na gawain ang tumatakbo sa CPU.
Katumpakan ng kwantisasyon: Ang INT8 ay isang pangunahing pagpipilian para sa mga naka-embed na device dahil sa mas mataas na kahusayan ng paghihinuha nito.
Paraan ng pag-trigger: patuloy na pagproseso ng AI sa bawat frame, o operasyon na na-trigger ng kaganapan kung saan ang mga kumplikadong algorithm ay nagsisimula lamang kapag natugunan ang isang kondisyon ng pag-trigger.
Mahalaga: I-export ang modelo ng GMAC gamit ang mga tool tulad ng RKNN o ONNX Runtime sa halip na tantyahin ito mula sa karanasan. Ang paggamit ng workload ng isang malaking modelo ng YOLO upang sukatin ang isang magaan na VIO network ay maaaring labis na magpasobra sa mga kinakailangan sa compute.
Ang aming MV11 ay isang four-camera hardware-synchronized vision at inertial-navigation fusion computing platform na nakabatay sa high-performance Rockchip RK3576 processor. Mayroon itong 6 TOPS NPU at 4 GB ng LPDDR4 memory at sumusuporta sa microsecond-level synchronization sa apat na camera. Kabilang sa mga angkop na aplikasyon ang robotic recognition and detection, VIO, SLAM at multi-camera EGO data collection. Maaari itong magsilbing hardware platform para sa board-level compute, bandwidth at multi-channel scheduling tests na inilarawan sa itaas. May mga sample na magagamit para sa maagang pagsusuri ng proyekto, at maaaring i-customize ang kumpletong vision solutions upang suportahan ang deployment. Makipag-ugnayan sa amin sa [email protected].
Maraming proyekto ang nakatuon lamang sa mga NPU TOPS habang pumipili, pagkatapos ay natutuklasan habang pinapagana ang board na hindi kayang sabayan ng sistema ang pag-andar kahit na mahigit kalahati pa ng kapasidad ng NPU ang natitira. Ang mga sumusunod na limitasyon ay karaniwang mga hadlang sa naka-embed na vision.
Sa panahon ng AI inference, patuloy na binabasa ng NPU ang mga imahe at bigat ng modelo mula sa memorya at isinusulat ang mga intermediate feature map pabalik sa memorya. Tinutukoy ng DDR bandwidth ang bilis ng mga paglilipat na ito. Kapag hindi sapat ang bandwidth, kahit ang isang NPU na may sapat na kapasidad sa pag-compute ay dapat maghintay para sa data, na pumipigil sa mga pagpapabuti sa frame-rate. Sa karamihan ng mga proyektong multi-camera sa mga platform ng RK, nagiging saturated ang bandwidth habang maliit na bahagi lamang ng kapasidad ng NPU ang ginagamit.
Ang mga Image buffer, AI model weights, at intermediate feature map ay pawang kumokonsumo ng memorya. Malaki ang pagtaas ng paggamit ng memorya kapag maraming channel ang sabay-sabay na gumagana. Ang kakulangan ng memorya ay maaaring mag-crash ng application. Ang mga naka-embed na device sa pangkalahatan ay kulang sa virtual memory, kaya ang isang out-of-memory (OOM) na kondisyon ay maaaring maging sanhi ng paghinto ng device.
Ang mga hilaw na imaheng nakukuha ng mga camera ay nangangailangan ng pag-crop, pag-scale, at conversion ng color-space. Ang ilang preprocessing ay isinasagawa ng hardware ng ISP, habang ang ilan ay gumagamit ng mga resource ng CPU. Ang multi-camera acquisition ay nagpapataas ng demand para sa preprocessing at maaaring magdulot ng latency sa buong pipeline kahit na naka-idle ang NPU.
Ang inaanunsyong peak TOPS ng isang chip ay katumbas ng peak power consumption. Karamihan sa mga naka-embed na device ay walang fan at hindi kayang suportahan ang buong NPU load sa mahabang panahon. Kahit na mataas ang theoretical compute capacity, nililimitahan ng mga thermal condition ang kapasidad na magagamit para sa patuloy na operasyon.
Kung ang isang modelo ng AI ay naglalaman ng mga espesyal na operator na hindi kayang pabilisin ng NPU, babalik sila sa pagpapatupad ng CPU. Mabagal ang pagproseso ng AI sa CPU at maaaring lubos na makaantala sa pipeline kahit na sapat ang kapasidad ng NPU. Tiyakin ang suporta sa pagpapabilis ng operator bago piliin ang platform.
1. Itakda ang baseline ng workload at operating mode. Tukuyin ang AI pipeline: resolution, frame rate, bilang ng channel, trigger strategy (tuloy-tuloy o event-driven), parallel o time-shared execution, listahan ng modelo at katumpakan ng deployment. Bigyang-pansin kung paano naka-iskedyul ang maraming channel.
2. Sukatin ang mga workload ng modelo at i-export ang GMAC/s. Gumamit ng mga tool upang i-export ang GMAC/s para sa bawat modelo, na pinaghihiwalay ang NPU-accelerated computation mula sa CPU post-processing.
3. Sukatin sa target board upang matukoy ang kahusayan sa pagpapatupad. I-convert ang mga modelo sa format ng platform sa mga kandidatong SoC tulad ng RK3576 o RK3588. Sukatin ang oras ng paghihinuha bawat frame upang matukoy ang aktwal na throughput ng modelong iyon sa NPU na iyon. Ito ang pinakamahalagang hakbang para maalis ang mga pagkakaiba sa mga pagtatantya sa papel: lahat ng mga pagtatantya ay dapat i-calibrate laban sa mga sukat sa antas ng board sa halip na mga generic na formula.
4. Pagsama-samahin ang mga multi-channel workload at suriin ang mga bottleneck ng system. Suriin ang parehong normal na steady-state operation at ang pinakamasamang peak kapag sabay-sabay na nagti-trigger ang lahat ng channel. Suriin ang bandwidth ng DDR at paggamit ng memory nang sabay-sabay. Maraming RK multi-camera project ang nauubos ang bandwidth habang nananatiling available ang kapasidad ng compute.
5. Maglaan ng naaangkop na headroom at magtakda ng mga limitasyon. Gumamit ng margin na 1.1–1.2 para sa mga panandaliang produkto na may mga nakapirming algorithm, at 1.3–1.4 para sa mga produktong inaasahang makakatanggap ng mga update sa modelo. Dapat sakupin ng headroom ang ebolusyon ng modelo, mga peak scenario, at mga overhead sa pag-iiskedyul sa halip na arbitraryong labis na paglalaan. Magtakda ng mga limitasyon sa gastos at kuryente ng BOM nang sabay.
6.1 Paggamit Lamang ng Chip TOPS at isang Fixed Utilization Rate
Ang paglalapat ng nakapirming 40% na rate ng paggamit sa mga inaanunsyong TOPS ay maaaring magpasobra sa mga kinakailangan sa pag-compute nang ilang beses at lubhang magkaiba sa mga totoong kondisyon ng inhinyeriya. Ang paggamit ay lubhang nag-iiba sa iba't ibang modelo at arkitektura ng NPU.
6.2 Pagpaparami sa Bilang ng Channel at Pagbabalewala sa Pagbabahagi ng Oras
Sa time-shared operation, pinoproseso ng NPU ang mga channel nang paisa-isa at ang kapasidad nito sa pag-compute ay muling ginagamit. Ang simpleng pagpaparami ng bilang ng channel sa single-channel compute demand ay maaaring labis na magpataas ng tantiya sa mga kinakailangan, na magreresulta sa isang napakalakas at hindi kinakailangang magastos na chip.
6.3 Pagtatasa ng NPU Compute ngunit Hindi Pinapansin ang DDR Bandwidth
Mas karaniwan ang mga bandwidth bottleneck kaysa sa mga compute bottleneck sa mga proyektong multi-camera vision. Maaaring may malaking natitirang kapasidad ang NPU, ngunit hindi kayang makasabay sa paglilipat ng data, na naglilimita sa frame rate. Dapat munang suriin ang bandwidth sa mga proyektong multi-camera.
6.4 Isinasaalang-alang ang Karaniwang Karga ngunit Hindi Pinapansin ang mga Pansamantalang Peak
Ang isang produkto ay maaaring gumana sa mababang load sa halos lahat ng oras ngunit nakakaranas ng mga transient peak kapag sabay-sabay na na-trigger ng lahat ng camera ang AI. Dapat na matugunan ng disenyo ang mga peak na ito, ngunit maaaring mapabilis ng isang task queue ang transient demand, kaya hindi kinakailangang direktang i-size ang chip sa peak compute demand.
6.5 Pagkalkula ng Modelo ng Pagbibilang Lamang at Pagbalewala sa Overhead ng Sistema
Maraming pagtatantya ang binibilang lamang ang GMAC ng AI backbone at binabalewala ang preprocessing ng ISP, pagkopya ng imahe, at post-processing ng CPU. Kahit na may sapat na kapasidad ng NPU, pinapataas ng mga overhead na ito ang end-to-end latency at pinipigilan ang pagkamit ng inaasahang frame rate.
Ilista ang lahat ng parameter ng kamera: resolution, frame rate at bilang ng channel. Kumpirmahin kung gumagamit ang mga channel ng parallel o time-shared scheduling.
I-export ang GMAC para sa bawat modelo at ihiwalay ang NPU computation mula sa CPU post-processing.
Sukatin ang oras ng paghihinuha sa iisang modelo sa mga kandidatong platform upang maitatag ang aktwal na kahusayan sa pagpapatupad.
Pagsama-samahin ang mga multi-channel workload at suriin ang paggamit ng NPU compute sa ilalim ng steady-state at peak na mga kondisyon.
Sukatin ang bandwidth ng DDR at paggamit ng memory upang matukoy kung ang bandwidth ang hadlang.
Patunayan ang mga operator ng modelo at kumpirmahin ang suporta sa pagpapabilis ng hardware ng NPU upang maiwasan ang fallback ng CPU.
Maglaan ng espasyo para sa compute ayon sa roadmap ng pag-update ng produkto at magtakda ng mga limitasyon sa gastos at kuryente ng BOM.
Magsagawa ng mga extended stress test na may sabay-sabay na multi-channel trigger. Suriin ang pagkakaiba-iba ng frame-rate at mga pag-crash na dulot ng pagkaubos ng memorya.
Ang pagsusukat ng kapasidad ng NPU para sa naka-embed na vision ay hindi isang simpleng ehersisyo sa matematika sa paglalapat ng TOPS formula. Ang mga pagtatantya sa papel ay nagbibigay lamang ng maagang sanggunian sa pagpaplano. Ang pangwakas na pagpapatunay ay dapat isagawa sa development board ng target na chip.
Ang kumpletong pagtatasa ay sumusunod sa pagkakasunud-sunod na ito: tukuyin kung ang compute ang bottleneck → kumpirmahin ang parallel o time-shared scheduling → sukatin ang modelo ng GMAC → unahin ang pagtatasa ng bandwidth ng DDR → i-calibrate sa pamamagitan ng board-level testing → ilaan ang naaangkop na compute headroom.
Ang layunin ay balansehin ang pagganap, pagkonsumo ng kuryente, at gastos. Pumili ng sapat na kapasidad para sa gawain sa halip na ituloy ang patuloy na mas mataas na peak NPU TOPS.
Ang aming MV11 ay isang four-camera hardware-synchronized vision at inertial-navigation fusion computing platform na nakabatay sa high-performance Rockchip RK3576 processor. Mayroon itong 6 TOPS NPU at 4 GB ng LPDDR4 memory at sumusuporta sa microsecond-level synchronization sa apat na camera. Kabilang sa mga angkop na aplikasyon ang robotic recognition and detection, VIO, SLAM at multi-camera EGO data collection. Maaari itong magsilbing hardware platform para sa board-level compute, bandwidth at multi-channel scheduling tests na inilarawan sa itaas. May mga sample na magagamit para sa maagang pagsusuri ng proyekto, at maaaring i-customize ang kumpletong vision solutions upang suportahan ang deployment. Makipag-ugnayan sa amin sa [email protected].
Mga Maiinit na Balita2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
