×
Számos beágyazott eszköz, beleértve a robotokat, az intelligens kamerákat és az ipari látóterminálokat, ma már NPU-kat használ mesterséges intelligencia alapú látási algoritmusok futtatásához. Az NPU egy hardveregység egy chipen belül, amely mesterséges intelligencia alapú következtetésekre szolgál.
Chip kiválasztásakor sok csapat először az NPU TOPS besorolását nézi, és feltételezi, hogy a magasabb szám erősebb chipet jelent. A gyakorlatban a termékfejlesztés két tipikus problémába ütközik:
Az első az elégtelen számítási kapacitás. Az eszköz alacsony képkockasebességgel fut, a videó akadozik, képkockák kimaradnak, ha több kamera működik egyszerre, és a mesterséges intelligencia általi felismerés is sikertelen lehet.
A második a túlzott kapacitás. A chip drága, több energiát fogyaszt és jelentős hőt termel. A kihasználatlan számítási kapacitás csökkenti a profitmarzsot.
Egy kulcsfontosságú mérnöki szempont, hogy számos beágyazott képfeldolgozási projektben a teljesítményt a képátvitel, a memória-sávszélesség vagy a CPU-alapú downstream feldolgozás korlátozza, nem pedig az NPU számítási kapacitása.
A számítási tervezés nem igényel hosszú szakkifejezéslistát. Két kulcsfogalom megkülönböztetése segít megelőzni, hogy a chipspecifikációk félrevezetővé váljanak.
A chipgyártók által hirdetett TOPS érték az elméleti csúcsteljesítményt jelöli: az a maximális feldolgozási kapacitás, amelyet egy NPU teljes terhelés mellett, ideális laboratóriumi körülmények között tud elérni. A terméktervezésnek mozgástérre van szüksége, így a csúcsteljesítmény nem használható közvetlenül a méretezéshez.
A GMAC-t használjuk egy MI-modell számítási munkaterhelésének felmérésére. A MAC egy alapvető szorzás-összegzés művelet, és a GMAC egymilliárd ilyen műveletet jelent. A modellben végzett számítás mennyiségét méri. Megjegyzendő, hogy a GMAC a munkaterhelést méri, míg a GMAC/s az átviteli sebességet. A nagyobb modellek magasabb GMAC-értékekkel rendelkeznek.
Az NPU-kihasználtság nem egy rögzített állandó. Az NPU-kapacitás hatékony számításra fordított arányát jelzi. Egyszerű konvolúciós hálózatok, például VIO front-endek vagy könnyűsúlyú detektálási modellek esetén az egyszerű operátorok és az alapos chip-optimalizálás 60–80%-os kihasználtságot eredményezhet. Az összetett transzformációkat vagy transzformátorblokkokat tartalmazó modellek ismételt csempézett végrehajtást igényelhetnek, ami a kihasználtságot 20%-ra vagy akár az alá is csökkentheti.
A 40%-os fix kihasználtsági arány alkalmazása a pontatlan becslések egyik fő oka. A felbontás közvetlenül is befolyásolja a munkaterhelést: a bemeneti kép szélességének és magasságának megduplázása megnégyszerezi a területét, és körülbelül négyszeresére növeli ugyanazon modell számítási kapacitását.
A TOPS csak a hardveres korlát. A számítási becsléseket a modell GMAC munkaterhelésével kezdjük, és kalibráljuk azokat egy fejlesztőkártyán végzett mérésekkel. Ne válasszunk ki egy chipet kizárólag az elméleti csúcsteljesítménye alapján.
A számítási igények becslése előtt fel kell térképezni a termék munkaterhelését. A kritikus különbség az, hogy több kamera párhuzamos következtetést vagy időben megosztott, körkörös következtetést használ-e, mivel ez határozza meg, hogyan kombinálódnak a számítási igények.
Párhuzamos mód: Minden kamera egyszerre futtatja a mesterséges intelligencia alapú következtetést, így a számítási igényük közvetlenül hozzáadódik. Például egy négy kamerával rendelkező biztonsági eszköz, amely valós idejű objektumészlelést végez csatornánként 30 képkocka/másodperc sebességgel, mind a négy csatorna terhelését egyesíti.
Időmegosztott mód: Az NPU egy megosztott hardver erőforrás, amely szekvenciálisan dolgozza fel a kameraképeket, egyszerre egy csatornát kezelve, mivel a csatornák felváltva jelennek meg a sorban. Számos többkamerás látásjavító implementáció a Rockchip RK platformokon ezt a megközelítést alkalmazza.
A munkaterhelés meghatározásakor a következő információkat gyűjtse össze:
Felbontás és képkockasebesség minden kamerához.
Az MI modellek listája: mely modellek futnak az NPU-n, és mely utófeldolgozási feladatok a CPU-n.
Kvantálási pontosság: Az INT8 a beágyazott eszközök népszerű választása a magasabb következtetési hatékonysága miatt.
Triggerelési módszer: folyamatos mesterséges intelligencia feldolgozás minden képkockán, vagy eseményvezérelt művelet, amelyben az összetett algoritmusok csak akkor indulnak el, ha egy trigger feltétel teljesül.
Fontos: A GMAC modell exportálásához használjon olyan eszközöket, mint az RKNN vagy az ONNX Runtime, ahelyett, hogy tapasztalati becslésen alapulna. Egy nagyméretű YOLO modell munkaterhelésének használata egy könnyű VIO hálózat méretezéséhez jelentősen túlbecsülheti a számítási igényeket.
Az MV11 egy négykamerás, hardveresen szinkronizált látás- és inerciális navigációs fúziós számítási platform, amely a nagy teljesítményű Rockchip RK3576 processzoron alapul. Tartalmaz egy 6 TOPS NPU-t és 4 GB LPDDR4 memóriát, és támogatja a mikroszekundum szintű szinkronizációt négy kamera között. Megfelelő alkalmazások közé tartozik a robotfelismerés és -detektálás, a VIO, a SLAM és a többkamerás EGO adatgyűjtés. Hardverplatformként szolgálhat a fent leírt panelszintű számításhoz, sávszélesség- és többcsatornás ütemezési tesztekhez. Mintadarabok állnak rendelkezésre a korai projektértékeléshez, és a teljes látási megoldások testreszabhatók a telepítés támogatásához. Lépjen kapcsolatba velünk a [email protected] címen.
Sok projekt a kiválasztás során csak az NPU TOPS-ra összpontosít, majd a panel felkészítése során kiderül, hogy a rendszer nem tudja tartani a lépést, annak ellenére, hogy az NPU kapacitásának több mint a fele továbbra is elérhető. A következő korlátok gyakori szűk keresztmetszetek a beágyazott látásban.
A mesterséges intelligencia következtetése során az NPU folyamatosan olvassa a képeket és a modell súlyait a memóriából, és köztes jellemzőtérképeket ír vissza a memóriába. A DDR sávszélesség határozza meg ezen átvitelek sebességét. Ha a sávszélesség nem elegendő, még egy bőséges számítási kapacitással rendelkező NPU-nak is várnia kell az adatokra, ami megakadályozza a képkockasebesség javulását. A legtöbb többkamerás projektben az RK platformokon a sávszélesség telítődik, miközben az NPU kapacitásának csak kis részét használják ki.
A képpufferek, a mesterséges intelligencia modell súlyai és a köztes jellemzőtérképek mind memóriát fogyasztanak. A memóriahasználat jelentősen megnő, ha több csatorna működik egyszerre. A nem elegendő memória az alkalmazás összeomlásához vezethet. A beágyazott eszközök általában nem rendelkeznek virtuális memóriával, így a memóriahiány (OOM) állapot az eszköz leállását okozhatja.
A kamerák által rögzített nyers képek vágást, méretezést és színtér-konverziót igényelnek. Az előfeldolgozás egy részét internetszolgáltató hardvere végzi, míg más rész CPU-erőforrásokat használ. A többkamerás képalkotás növeli az előfeldolgozási igényt, és késleltetést okozhat a folyamatban, még akkor is, ha az NPU tétlen.
Egy chip hirdetett csúcs TOPS értéke a csúcsfogyasztásnak felel meg. A legtöbb beágyazott eszköz ventilátor nélküli, és nem képes hosszú ideig fenntartani a teljes NPU-terhelést. Még ha az elméleti számítási kapacitás magas is, a hőmérsékleti viszonyok korlátozzák a fenntartható működéshez rendelkezésre álló kapacitást.
Ha egy MI-modell olyan speciális operátorokat tartalmaz, amelyeket az NPU nem tud gyorsítani, akkor azok a CPU-végrehajtásra térnek vissza. A CPU-n végzett MI-feldolgozás lassú, és súlyosan lelassíthatja a folyamatot még akkor is, ha az NPU-kapacitás elegendő. A platform kiválasztása előtt ellenőrizze az operátorgyorsítás támogatását.
1. Határozza meg a munkaterhelés alapját és a működési módot. Határozza meg az AI-folyamatot: felbontás, képkockasebesség, csatornaszám, triggerstratégia (folyamatos vagy eseményvezérelt), párhuzamos vagy időmegosztott végrehajtás, modelllista és telepítési pontosság. Fordítson különös figyelmet arra, hogyan vannak ütemezve több csatorna.
2. Számszerűsítse a modell munkaterhelését és exportálja a GMAC/-ket. Eszközök segítségével exportálja az egyes modellek GMAC/-jeit, elkülönítve az NPU-gyorsított számítást a CPU utófeldolgozásától.
3. Mérés a célkártyán a végrehajtási hatékonyság meghatározása érdekében. Modellek konvertálása platformformátumra jelölt SoC-kon, például RK3576 vagy RK3588. Következtetési idő mérése képkockánként az adott modell tényleges átviteli sebességének meghatározásához az adott NPU-n. Ez a legfontosabb lépés a papíralapú becslések eltéréseinek kiküszöböléséhez: minden becslést kalibrálni kell a kártyaszintű mérésekhez, nem pedig általános képletekhez.
4. Többcsatornás munkaterhelések összesítése és a rendszer szűk keresztmetszeteinek felmérése. Mind a normál állandósult állapotú működés, mind a legrosszabb esetű csúcsérték értékelése, amikor minden csatorna egyszerre indul el. A DDR sávszélesség és a memóriahasználat egyidejű ellenőrzése. Sok RK többkamerás rendszer kimeríti a sávszélességet, miközben a számítási kapacitás továbbra is elérhető marad.
5. Foglaljon le megfelelő mozgásteret és állítson be korlátokat. Használjon 1,1–1,2-es mozgásteret a nagyrészt rögzített algoritmusokkal rendelkező rövid távú termékekhez, és 1,3–1,4-es mozgásteret azokhoz a termékekhez, amelyek várhatóan modellfrissítéseket kapnak. A mozgástérnek fedeznie kell a modell fejlődését, a csúcsidőszaki forgatókönyveket és az ütemezési többletterhelést, nem pedig az önkényes túlterhelést. A darabjegyzék költségét és a teljesítménykorlátokat egyidejűleg állítsa be.
6.1 Kizárólag Chip TOPS és fix kihasználtsági arány használata
A hirdetett TOPS-re alkalmazott fix 40%-os kihasználtsági arány többszörösen túlbecsülheti a számítási igényeket, és jelentősen eltérhet a valós mérnöki körülményektől. A kihasználtság jelentősen eltér a modellek és az NPU architektúrák között.
6.2 Csatornaszámmal való szorzás és az időmegosztás figyelmen kívül hagyása
Időmegosztott működés esetén az NPU sorra dolgozza fel a csatornákat, és a számítási kapacitását újra felhasználja. A csatornaszám egyszerű szorzása az egycsatornás számítási igénnyel jelentősen túlbecsülheti a követelményeket, ami egy túlteljesített, szükségtelenül költséges chipet eredményez.
6.3 Az NPU számítási teljesítményének felmérése a DDR sávszélesség figyelmen kívül hagyásával
A sávszélességből adódó szűk keresztmetszetek sokkal gyakoribbak, mint a számítási szűk keresztmetszetek a többkamerás képfeldolgozási projektekben. Az NPU-nak jelentős kapacitása lehet, de az adatátvitel nem tudja tartani a lépést, ami korlátozza a képkockasebességet. A többkamerás projektekben először a sávszélességet kell felmérni.
6.4 Az átlagos terhelés figyelembevétele az átmeneti csúcsok figyelmen kívül hagyásával
Egy termék az idő nagy részében alacsony terhelésen működhet, de átmeneti csúcsokat tapasztalhat, amikor az összes kamera egyszerre indítja el a mesterséges intelligenciát. A tervezésnek figyelembe kell vennie ezeket a csúcsokat, de egy feladatütemezés kisimíthatja az átmeneti igényeket, így a chipet nem feltétlenül kell közvetlenül a csúcs számítási igényhez méretezni.
6.5 Csak a modellszámítás számlálása és a rendszer többletterhelésének figyelmen kívül hagyása
Sok becslés csak az AI gerinchálózatának GMAC-jét veszi figyelembe, és figyelmen kívül hagyja az internetszolgáltató előfeldolgozását, a képmásolást és a CPU utófeldolgozását. Még megfelelő NPU-kapacitás esetén is ezek a többletterhelések növelik a végpontok közötti késleltetést, és megakadályozzák a várt képkockasebesség elérését.
Sorolja fel az összes kameraparamétert: felbontás, képkockasebesség és csatornaszám. Ellenőrizze, hogy a csatornák párhuzamos vagy időosztott ütemezést használnak-e.
Exportálja az egyes modellek GMAC-ját, és különítse el az NPU-számítást a CPU utófeldolgozásától.
Mérje meg az egymodellű következtetési időt a jelölt platformokon a tényleges végrehajtási hatékonyság megállapítása érdekében.
Többcsatornás munkaterhelések összesítése és az NPU számítási kihasználtságának felmérése állandósult és csúcsidőszaki körülmények között.
Mérd meg a DDR sávszélességet és a memóriahasználatot annak megállapításához, hogy a sávszélesség a szűk keresztmetszet-e.
A CPU-kimaradás elkerülése érdekében validálja a modell operátorait és erősítse meg az NPU hardveres gyorsításának támogatását.
Foglaljon le számítási tartalékot a termékfrissítési ütemterv szerint, és állítsa be a darabjegyzék költség- és teljesítménykorlátait.
Futtasson kiterjesztett terhelésteszteket egyidejű többcsatornás triggerekkel. Ellenőrizze a képkockasebesség-változásokat és a memória kimerülése miatti összeomlásokat.
A beágyazott látás NPU-kapacitásának méretezése nem egyszerű matematikai feladat a TOPS-képlet alkalmazásával. A papíralapú becslések csak korai tervezési referenciát nyújtanak. A végső validációt a célchip fejlesztőkártyáján kell elvégezni.
Egy teljes körű felmérés a következő sorrendet követi: határozza meg, hogy a számítási kapacitás a szűk keresztmetszet → erősítse meg a párhuzamos vagy az időmegosztott ütemezést → mérje meg a GMAC modelljét → rangsorolja a DDR sávszélesség-felmérést → kalibrálja alaplapi szintű teszteléssel → tartsa fenn a megfelelő számítási tartalékot.
A cél a teljesítmény, az energiafogyasztás és a költségek egyensúlyban tartása. Válasszon elegendő kapacitást a feladathoz, ahelyett, hogy egyre magasabb csúcs NPU TOPS-t hajszolna.
Az MV11 egy négykamerás, hardveresen szinkronizált látás- és inerciális navigációs fúziós számítási platform, amely a nagy teljesítményű Rockchip RK3576 processzoron alapul. Tartalmaz egy 6 TOPS NPU-t és 4 GB LPDDR4 memóriát, és támogatja a mikroszekundum szintű szinkronizációt négy kamera között. Megfelelő alkalmazások közé tartozik a robotfelismerés és -detektálás, a VIO, a SLAM és a többkamerás EGO adatgyűjtés. Hardverplatformként szolgálhat a fent leírt panelszintű számításhoz, sávszélesség- és többcsatornás ütemezési tesztekhez. Mintadarabok állnak rendelkezésre a korai projektértékeléshez, és a teljes látási megoldások testreszabhatók a telepítés támogatásához. Lépjen kapcsolatba velünk a [email protected] címen.
Friss hírek2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
