Hvernig á að stærðargæða NPU reiknigáfu fyrir innbyggðar sjónvörur

1. Að skilja vandamálið sem skipulagning á afkastagetu NPU leysir

Margar innbyggðar einingar, þar á meðal vélmenni, snjallmyndavélar og iðnaðarsjónstöðvar, nota nú NPU-einingar til að keyra reiknirit fyrir gervigreindarsjón. NPU er vélbúnaðareining innan örgjörva sem er tileinkuð ályktunum um gervigreind.

Þegar vöruþróun velur sér örgjörva skoða mörg teymi fyrst NPU TOPS einkunnina og gera ráð fyrir að hærri tala þýði öflugri örgjörva. Í reynd lendir vöruþróun í tveimur dæmigerðum vandamálum:

Í fyrsta lagi er ófullnægjandi reiknigáta. Tækið keyrir á lágum rammahraða, myndbandið hakkar, rammar detta út þegar margar myndavélar eru í gangi samtímis og greining gervigreindar getur mistekist.

Í öðru lagi er of mikil afkastageta. Örflögan er dýr, notar meiri orku og myndar mikinn hita. Ónotuð reikniafl dregur úr hagnaðarframlegð.

Lykilatriði í verkfræði er að í mörgum verkefnum með innbyggða sjóntækni er afköstin takmörkuð af myndflutningi, minnisbandvídd eða örgjörva-byggðri niðurstreymisvinnslu frekar en reiknigátt örgjörva.

2. Grunnhugtök og tveir kjarnamælikvarðar

Reikniáætlun krefst ekki langs lista af tæknilegum hugtökum. Aðgreining á tveimur lykilhugtökum hjálpar til við að koma í veg fyrir að forskriftir örgjörva verði villandi.

TOPS-talan sem örgjörvaframleiðendur auglýsa er fræðileg hámarksútreikningsafköst: hámarksvinnslugeta sem örgjörvi getur náð við fullt álag við kjöraðstæður í rannsóknarstofu. Vöruhönnun þarfnast svigrúms, þannig að ekki er hægt að nota hámarksafköst beint til stærðarákvörðunar.

Við notum GMAC til að meta reiknivinnuálag gervigreindarlíkans. MAC er einföld margföldunar-safnunaraðgerð og GMAC táknar einn milljarð slíkra aðgerða. Hún mælir magn reikniaðgerða í líkani. Athugið að GMAC mælir vinnuálag en GMAC/s mælir afköst. Stærri líkön hafa hærri GMAC gildi.

Nýting NPU er ekki fastur fasti. Hún táknar hlutfall NPU-afkastagetu sem notað er fyrir árangursríka útreikninga. Fyrir einföld fellingarnet, eins og VIO-framenda eða létt greiningarlíkön, geta einfaldir virkjar og ítarleg örgjörvabestun skilað nýtingu upp á 60%–80%. Líkön sem innihalda flóknar umbreytingar eða Transformer-blokkir geta þurft endurtekna flísalagða keyrslu, sem dregur úr nýtingu í 20% eða jafnvel minna.

Að nota fasta nýtingarhlutfall upp á 40% er ein helsta orsök ónákvæmra mats. Upplausn hefur einnig bein áhrif á vinnuálag: tvöföldun bæði breiddar og hæðar inntaksmyndarinnar fjórfaldar flatarmál hennar og um það bil fjórfaldar útreikninginn fyrir sama líkan.

TOPS er aðeins hámarksafköst vélbúnaðarins. Byrjið að reikna út áætlanir með GMAC vinnuálagi líkansins og kvarðið þær á móti mælingum á þróunarborði. Veljið ekki örgjörva eingöngu út frá fræðilegum hámarksafköstum hans.

3. Skilgreina Notkun Kröfur og fjölmyndavélaáætlun

Áður en reikniskröfur eru metnar skal kortleggja vinnuálag vörunnar. Mikilvægur munur er á því hvort margar myndavélar nota samsíða ályktun eða tímabundna, hringlaga ályktun, því það ákvarðar hvernig reikniskröfur þeirra eru sameinaðar.

Samsíða stilling: Allar myndavélar keyra gervigreindarályktanir á sama tíma, þannig að reiknikröfur þeirra eru lagðar beint við. Til dæmis sameinar öryggistæki með fjórum myndavélum sem framkvæma rauntíma hlutgreiningu á 30 römmum á sekúndu á hverri rás álag allra fjögurra rása.

Tímaskipt stilling: NPU er sameiginleg vélbúnaðarauðlind sem vinnur úr myndavélamyndum í röð og vinnur úr einni rás í einu þegar rásir skiptast á að vera í biðröð. Margar fjölmyndavélaútfærslur á Rockchip RK kerfum nota þessa aðferð.

Safnaðu eftirfarandi upplýsingum þegar þú skilgreinir vinnuálagið:

Upplausn og rammatíðni fyrir hverja myndavél.

Listi yfir gervigreindarlíkön: hvaða líkön keyra á örgjörvanum (NPU) og hvaða eftirvinnsluverkefni keyra á örgjörvanum.

Nákvæmni skammtafræðilegrar greiningar: INT8 er vinsæll kostur fyrir innbyggð tæki vegna meiri ályktunarhagkvæmni þess.

Kveikjaraðferð: samfelld gervigreindarvinnsla á hverjum ramma eða atburðarkveikjað aðgerð þar sem flóknar reiknirit ræsast aðeins þegar kveikjuskilyrði er uppfyllt.

Mikilvægt: Flytjið út GMAC líkan með verkfærum eins og RKNN eða ONNX Runtime frekar en að áætla það út frá reynslu. Að nota vinnuálag stórs YOLO líkans til að stærðargreina létt VIO net getur ofmetið reikniafl verulega.

MV11 okkar er fjögurra myndavéla vélbúnaðarsamstillt sjón- og tregðuleiðsögnarsamrunaútreikningsvettvangur byggður á afkastamiklum Rockchip RK3576 örgjörva. Hann inniheldur 6 TOPS NPU og 4 GB af LPDDR4 minni og styður samstillingu á míkrósekúndustigi yfir fjórar myndavélar. Hentug forrit eru meðal annars vélræn greining og uppgötvun, VIO, SLAM og fjölmyndavéla EGO gagnasöfnun. Hann getur þjónað sem vélbúnaðarvettvangur fyrir útreikninga á borðstigi, bandbreidd og fjölrásaráætlunarprófanir sem lýst er hér að ofan. Sýnishorn eru tiltæk fyrir snemmbúna verkefnamat og hægt er að aðlaga heildarsjónlausnir til að styðja við innleiðingu. Hafðu samband við okkur á [email protected].

4. Takmarkanir sem takmarka oft afköst áður en NPU útreikningur gerir það

Mörg verkefni einbeita sér aðeins að NPU TOPS við val og uppgötva svo við uppsetningu á borði að kerfið getur ekki haldið í við jafnvel þótt meira en helmingur NPU afkastagetu sé enn tiltækur. Eftirfarandi takmarkanir eru algengir flöskuhálsar í innbyggðri sjón.

4.1 Bandbreidd DDR minnis

Við ályktun gervigreindar les NPU stöðugt myndir og líkanþyngdir úr minni og skrifar millistigseiginleikakort aftur í minnið. DDR bandbreidd ákvarðar hraða þessara flutninga. Þegar bandbreidd er ófullnægjandi verður jafnvel NPU með nægilega reiknigáfu að bíða eftir gögnum, sem kemur í veg fyrir bætta rammatíðni. Í flestum fjölmyndavélarverkefnum á RK-pöllum mettast bandbreiddin á meðan aðeins lítill hluti af NPU-getunni er notaður.

4.2 Minni

Myndbiðminnisgeymslur, vigtir gervigreindarlíkana og millistigseiginleikakort nota öll minni. Minnisnotkun eykst verulega þegar margar rásir eru í gangi samtímis. Ónóg minni getur hrunið forritið. Innbyggð tæki skortir almennt sýndarminni, þannig að minnisleysi getur valdið því að tækið stöðvast.

4.3 Forvinnsla mynda frá ISP

Óunnar myndir sem teknar eru með myndavélum þurfa að vera klipptar, stærðarbreyttar og litrýmisbreytingar. Sum forvinnsla er framkvæmd af vélbúnaði internetþjónustuaðila, en önnur notar örgjörvaauðlindir. Fjölmyndavélaröflun eykur kröfur um forvinnslu og getur valdið seinkun á ferlinu jafnvel þegar örgjörvinn er óvirkur.

4.4 Orkunotkun og hitastýring

Auglýst hámarks TOPS örgjörva samsvarar hámarksorkunotkun. Flest innbyggð tæki eru viftulaus og geta ekki haldið fullu álagi á NPU í langan tíma. Jafnvel þegar fræðileg reikniafl er hátt, takmarka hitaskilyrði afkastagetu sem er tiltæk fyrir viðvarandi notkun.

4.5 Samhæfni rekstraraðila

Ef gervigreindarlíkan inniheldur sérstaka virkja sem örgjörvinn getur ekki hraðað, þá nota þeir keyrslu örgjörvans. Gervigreindarvinnsla á örgjörvanum er hæg og getur tafið vinnsluferlið verulega, jafnvel þegar afkastageta örgjörvans er næg. Staðfestið stuðning virkja við hraðann áður en kerfið er valið.

5. Hagnýtt skipulagsferli

1. Ákvarða grunnlínu vinnuálags og rekstrarham. Skilgreina gervigreindarferlið: upplausn, rammatíðni, rásafjöldann, kveikjustefnu (samfellda eða atburðadrifna), samsíða eða tímabundna framkvæmd, líkanalista og nákvæmni dreifingar. Gefðu sérstaka athygli á því hvernig margar rásir eru áætlaðar.

2. Magngreina vinnuálag líkana og flytja út GMAC/s. Nota verkfæri til að flytja út GMAC/s fyrir hvert líkan, aðskilja NPU-hraðaða útreikninga frá eftirvinnslu örgjörva.

3. Mælið á markkortinu til að ákvarða keyrsluhagkvæmni. Umbreytið líkönum í pallsniðið á mögulegum SoC-um eins og RK3576 eða RK3588. Mælið ályktunartíma á ramma til að ákvarða raunverulegan afköst líkansins á þeirri NPU. Þetta er mikilvægasta skrefið til að útrýma frávikum í pappírsáætlunum: allar áætlanir verða að vera kvarðaðar miðað við mælingar á kortastigi frekar en almennar formúlur.

4. Samantekt á vinnuálagi á mörgum rásum og metið flöskuhálsa kerfisins. Metið bæði eðlilegan stöðugan rekstur og versta hugsanlega hámarksástand þegar allar rásir virkjast samtímis. Athugið DDR bandbreidd og minnisnotkun á sama tíma. Margar RK fjölmyndavélarframkvæmdir klára bandbreiddina á meðan reiknigáma er enn tiltæk.

5. Gefið frá viðeigandi svigrúm og setjið takmörk. Notið svigrúm upp á 1,1–1,2 fyrir skammtímavörur með að mestu föstum reikniritum og 1,3–1,4 fyrir vörur sem búist er við að fá líkanuppfærslur. Svigrúmið ætti að ná yfir líkanþróun, hámarksástand og áætlanagerðarkostnað frekar en handahófskennda offramboð. Setjið kostnaðar- og aflstakmörk fyrir uppskriftir á sama tíma.

6. Fimm algengar gildrur í skipulagningu afkastagetu NPU

6.1 Notkun eingöngu flísar-TOPS og fastrar nýtingarhlutfalls

Að beita föstu 40% nýtingarhlutfalli á auglýsta TOPS getur ofmetið reiknikröfur margfalt og verið verulega frábrugðnar raunverulegum verkfræðilegum aðstæðum. Nýting er mjög mismunandi eftir gerðum og örgjörvaarkitektúr.

6.2 Margföldun með rásatölu og hunsun tímadeilingar

Í tímaskiptan rekstri vinnur örgjörvinn úr rásum í röð og reiknigeta hans er endurnýtt. Að margfalda einfaldlega fjölda rása með reiknigáfuþörf fyrir eina rás getur ofmetið kröfur verulega, sem leiðir til ofmetins og óþarflega dýrs örgjörva.

6.3 Mat á NPU útreikningi en hunsun á DDR bandbreidd

Bandvíddarflöskuhálsar eru mun algengari en útreikningsflöskuhálsar í verkefnum með mörgum myndavélum. NPU-einingin gæti haft töluvert magn eftir en gagnaflutningar geta ekki fylgt því, sem takmarkar rammahraða. Bandvídd verður að meta fyrst í verkefnum með mörgum myndavélum.

6.4 Miðað við meðalálag en hunsað tímabundnar álagstoppar

Vara gæti starfað við lágt álag mestallan tímann en upplifað tímabundnar hámarksálag þegar allar myndavélar virkja gervigreind samtímis. Hönnunin verður að taka við þessum hámarksálagi, en verkefnaröð getur jafnað tímabundna eftirspurn, þannig að örgjörvinn þarf ekki endilega að vera aðlagaður beint að hámarksútreikningsþörf.

6.5 Að telja aðeins líkanútreikninga og hunsa kerfiskostnað

Margar áætlanir taka aðeins mið af GMAC burðargrind gervigreindarinnar og hunsa forvinnslu internetþjónustuaðila, myndaafritun og eftirvinnslu örgjörva. Jafnvel með nægjanlegri afkastagetu örgjörva auka þessir óþarfir seinkun frá upphafi til enda og koma í veg fyrir að væntanlegur rammahraði náist.

7. Gátlisti fyrir innleiðingu á kerfi

Teljið upp allar breytur myndavélarinnar: upplausn, rammatíðni og rásafjölda. Staðfestið hvort rásir noti samsíða eða tímabundna áætlanagerð.

Flytja út GMAC fyrir hverja gerð og greina á milli útreikninga NPU og eftirvinnslu örgjörva.

Mælið ályktunartíma fyrir eitt líkan á mögulegum kerfum til að ákvarða raunverulega framkvæmdahagkvæmni.

Safna saman vinnuálagi á mörgum rásum og meta nýtingu NPU reikniaflna við stöðugar og hámarksaðstæður.

Mældu DDR bandvídd og minnisnotkun til að ákvarða hvort bandvídd sé flöskuhálsinn.

Staðfesta líkanvirkja og staðfesta stuðning við vélbúnaðarhröðun NPU til að forðast varaafl örgjörva.

Pantaðu reiknifjarlægð samkvæmt vöruuppfærsluáætlun og settu kostnaðar- og aflsmörk fyrir uppskriftarlista.

Keyrðu ítarlegar álagsprófanir með samtímis fjölrásar kveikjum. Athugaðu breytingar á rammatíðni og hrun af völdum minnisþurrðar.

Að ákvarða stærð afkastagetu örgjörva (NPU) fyrir innbyggða sjón er ekki einföld stærðfræðileg æfing þegar TOPS formúla er notuð. Áætlanir á pappír veita aðeins viðmiðun til að skipuleggja áætlanir snemma. Lokaprófun verður að fara fram á þróunarborði markflísins.

Heildarmat fylgir þessari röð: ákvarða hvort útreikningur sé flöskuhálsinn → staðfesta samsíða eða tímabundna áætlanagerð → mæla GMAC líkanið → forgangsraða DDR bandbreiddarmati → kvarða með prófunum á borði → tryggja viðeigandi reiknifjarlægð.

Markmiðið er að finna jafnvægi milli afkasta, orkunotkunar og kostnaðar. Veldu nægilega afkastagetu fyrir verkefnið frekar en að sækjast eftir sífellt hærri hámarksafköstum NPU.

MV11 okkar er fjögurra myndavéla vélbúnaðarsamstillt sjón- og tregðuleiðsögnarsamrunaútreikningsvettvangur byggður á afkastamiklum Rockchip RK3576 örgjörva. Hann inniheldur 6 TOPS NPU og 4 GB af LPDDR4 minni og styður samstillingu á míkrósekúndustigi yfir fjórar myndavélar. Hentug forrit eru meðal annars vélræn greining og uppgötvun, VIO, SLAM og fjölmyndavéla EGO gagnasöfnun. Hann getur þjónað sem vélbúnaðarvettvangur fyrir útreikninga á borðstigi, bandbreidd og fjölrásaráætlunarprófanir sem lýst er hér að ofan. Sýnishorn eru tiltæk fyrir snemmbúna verkefnamat og hægt er að aðlaga heildarsjónlausnir til að styðja við innleiðingu. Hafðu samband við okkur á [email protected].