NPU-laskentakapasiteetin mitoitus sulautetuissa konenäkötuotteissa

1. Ongelman ymmärtäminen, jonka NPU-kapasiteettisuunnittelu ratkaisee

Monet sulautetut laitteet, kuten robotit, älykamerat ja teollisuuskonenäköpäätteet, käyttävät nykyään NPU:ita tekoälynäköalgoritmien suorittamiseen. NPU on tekoälypäättelyyn tarkoitettu sirun laitteistoyksikkö.

Monet tiimit piiriä valitessaan katsovat ensin sen NPU TOPS -luokitusta ja olettavat, että suurempi luku tarkoittaa tehokkaampaa piiriä. Käytännössä tuotekehityksessä kohtaavat kaksi tyypillistä ongelmaa:

Ensimmäinen on riittämätön laskentateho. Laite toimii alhaisella kuvataajuudella, video nykii, kuvia katkeaa useiden kameroiden toimiessa samanaikaisesti ja tekoälyn tunnistus voi epäonnistua.

Toinen on liiallinen kapasiteetti. Siru on kallis, kuluttaa enemmän virtaa ja tuottaa huomattavasti lämpöä. Käyttämätön laskentakapasiteetti pienentää voittomarginaaleja.

Keskeinen suunnittelunäkökohta on, että monissa sulautettujen konenäköjärjestelmien projekteissa suorituskykyä rajoittavat kuvansiirrot, muistin kaistanleveys tai suorittimen (CPU) laskentakapasiteetti.

2. Peruskäsitteet ja kaksi keskeistä mittaria

Laskennan suunnittelu ei vaadi pitkää luetteloa teknisistä termeistä. Kahden keskeisen käsitteen erottaminen auttaa estämään sirujen spesifikaatioiden muuttumisen harhaanjohtaviksi.

Siruvalmistajien mainostama TOPS-luku on teoreettinen huippulaskentateho: suurin prosessointikapasiteetti, jonka NPU voi saavuttaa täydellä kuormalla ihanteellisissa laboratorio-olosuhteissa. Tuotesuunnittelussa tarvitaan pelivaraa, joten huipputehoa ei voida käyttää suoraan mitoitukseen.

Käytämme GMAC:ia tekoälymallin laskennallisen työmäärän arviointiin. MAC on yksinkertainen kertolaskuoperaatio, ja GMAC edustaa miljardia tällaista operaatiota. Se mittaa mallin laskennan määrää. Huomaa, että GMAC mittaa työmäärää, kun taas GMAC/s mittaa läpimenoaikaa. Suuremmilla malleilla on korkeammat GMAC-arvot.

NPU:n käyttöaste ei ole kiinteä vakio. Se edustaa tehokkaaseen laskentaan käytetyn NPU-kapasiteetin osuutta. Yksinkertaisissa konvoluutioverkoissa, kuten VIO-etupäätteissä tai kevyissä tunnistusmalleissa, yksinkertaiset operaattorit ja perusteellinen sirujen optimointi voivat tuottaa 60–80 %:n käyttöasteen. Monimutkaisia muunnoksia tai muuntajalohkoja sisältävät mallit saattavat vaatia toistuvaa vierekkäistä suoritusta, mikä vähentää käyttöastetta 20 %:iin tai jopa alle.

Kiinteän 40 %:n käyttöasteen soveltaminen on merkittävä syy epätarkkoihin arvioihin. Myös resoluutio vaikuttaa suoraan työmäärään: sekä syötekuvan leveyden että korkeuden kaksinkertaistaminen nelinkertaistaa sen pinta-alan ja suunnilleen nelinkertaistaa saman mallin laskentakapasiteetin.

TOPS on vain laitteiston enimmäismäärä. Aloita laskenta-arviot mallin GMAC-työmäärällä ja kalibroi ne kehityslevyllä tehtyjen mittausten perusteella. Älä valitse sirua pelkästään sen teoreettisen huipputehon perusteella.

3. Määrittele Hakemus Vaatimukset ja monikamera-aikataulutus

Ennen laskentavaatimusten arviointia on kartoitettava tuotteen työmäärä. Ratkaiseva ero on se, käyttävätkö useat kamerat rinnakkaista päättelyä vai aikajaettua, vuorotellen tapahtuvaa päättelyä, koska tämä määrittää, miten niiden laskentavaatimukset yhdistetään.

Rinnakkaistila: Kaikki kamerat suorittavat tekoälypäättelyä samanaikaisesti, joten niiden laskentavaatimukset lisätään suoraan. Esimerkiksi turvalaite, jossa on neljä kameraa, jotka suorittavat reaaliaikaista kohteiden tunnistusta 30 kuvaa sekunnissa kullakin kanavalla, yhdistää kaikkien neljän kanavan kuormituksen.

Aikajaettu tila: NPU on jaettu laitteistoresurssi, joka käsittelee kamerakuvia peräkkäin yhden kanavan kerrallaan kanavien vuorotellessa jonossa. Monet Rockchip RK -alustojen monikameranäkötoteutukset käyttävät tätä lähestymistapaa.

Kerää seuraavat tiedot työmäärää määritettäessä:

Kunkin kameran resoluutio ja kuvataajuus.

Tekoälymallien luettelo: mitkä mallit toimivat NPU:lla ja mitkä jälkikäsittelytehtävät suoritetaan CPU:lla.

Kvantisointitarkkuus: INT8 on suosittu valinta sulautetuille laitteille sen korkeamman päättelytehokkuuden vuoksi.

Liipaisumenetelmä: jatkuva tekoälyn prosessointi jokaisella kehyksellä tai tapahtuman laukaisema operaatio, jossa monimutkaiset algoritmit käynnistyvät vasta, kun liipaisuehto täyttyy.

Tärkeää: Vie GMAC-malli käyttämällä työkaluja, kuten RKNN tai ONNX Runtime, sen sijaan, että arvioisit sitä kokemuksen perusteella. Suuren YOLO-mallin työmäärän käyttäminen kevyen VIO-verkon mitoituksen määrittämiseen voi yliarvioida laskentavaatimukset merkittävästi.

MV11 on neljän kameran laitteistosynkronoitu konenäkö- ja inertianavigointifuusiolaskenta-alusta, joka perustuu tehokkaaseen Rockchip RK3576 -prosessoriin. Se sisältää 6 TOPS NPU:n ja 4 Gt:n LPDDR4-muistin ja tukee mikrosekunnin tason synkronointia neljän kameran välillä. Sopivia sovelluksia ovat robottitunnistus ja -ilmaisu, VIO-, SLAM- ja monikamera-EGO-tiedonkeruu. Se voi toimia laitteistoalustana edellä kuvatuille piirilevytason laskennalle, kaistanleveydelle ja monikanavaisille ajoitustesteille. Näytteitä on saatavilla projektin varhaista arviointia varten, ja kokonaisia konenäköratkaisuja voidaan räätälöidä käyttöönoton tueksi. Ota yhteyttä osoitteeseen [email protected].

4. Rajoitukset, jotka usein rajoittavat suorituskykyä ennen kuin NPU-laskenta tekee sen

Monissa projekteissa keskitytään valinnan aikana vain NPU:n TOPS-arvoihin, ja sitten piirilevyn käyttöönoton aikana havaitaan, että järjestelmä ei pysy vauhdissa, vaikka yli puolet NPU:n kapasiteetista on vielä käytettävissä. Seuraavat rajoitukset ovat yleisiä pullonkauloja sulautetussa konenäössä.

4.1 DDR-muistin kaistanleveys

Tekoälypäättelyn aikana NPU lukee jatkuvasti kuvia ja mallin painotuksia muistista ja kirjoittaa välikarttoja takaisin muistiin. DDR-kaistanleveys määrittää näiden siirtojen nopeuden. Kun kaistanleveys ei riitä, jopa runsaasti laskentakapasiteettia omaavan NPU:n on odotettava dataa, mikä estää kuvanopeuden parannuksia. Useimmissa RK-alustojen monikameraprojekteissa kaistanleveys kyllästyy, kun taas vain pieni osa NPU:n kapasiteetista on käytössä.

4.2 Muistikapasiteetti

Kuvapuskurit, tekoälymallien painotukset ja välivaiheen ominaisuuskartat kuluttavat kaikki muistia. Muistin käyttö kasvaa huomattavasti, kun useita kanavia toimii samanaikaisesti. Liian vähän muistia voi kaataa sovelluksen. Sulautetuissa laitteissa ei yleensä ole virtuaalimuistia, joten muistin loppuminen (OOM) voi aiheuttaa laitteen pysähtymisen.

4.3 ISP-kuvien esikäsittely

Kameroiden tallentamat raakakuvat vaativat rajaamista, skaalausta ja väriavaruuden muuntamista. Osa esikäsittelystä suoritetaan internet-palveluntarjoajan laitteistolla, kun taas osa käyttää suorittimen resursseja. Usean kameran tallennus lisää esikäsittelytarvetta ja voi aiheuttaa viivettä koko kuvaprosessissa, vaikka NPU olisi käyttämättömänä.

4.4 Virrankulutus ja lämmönhallinta

Sirun mainostettu huipputeho (TOPS) vastaa sen huippukulutusta. Useimmat sulautetut laitteet ovat ilman tuuletinta, eivätkä ne pysty ylläpitämään täyttä NPU-kuormitusta pitkiä aikoja. Vaikka teoreettinen laskentakapasiteetti olisi korkea, lämpötilaolosuhteet rajoittavat jatkuvaan toimintaan käytettävissä olevaa kapasiteettia.

4.5 Käyttäjän yhteensopivuus

Jos tekoälymalli sisältää erikoisoperaattoreita, joita NPU ei voi kiihdyttää, ne palaavat suorittimen suoritukseen. Tekoälyn prosessointi suorittimella on hidasta ja voi pysäyttää prosessin vakavasti, vaikka NPU:n kapasiteetti olisi riittävä. Tarkista operaattorin kiihdytyksen tuki ennen alustan valitsemista.

5. Käytännön suunnittelun työnkulku

1. Määritä työkuorman perustaso ja toimintatila. Määrittele tekoälyn prosessi: resoluutio, kuvataajuus, kanavien määrä, liipaisustrategia (jatkuva tai tapahtumapohjainen), rinnakkainen tai aikajaettu suoritus, malliluettelo ja käyttöönoton tarkkuus. Kiinnitä erityistä huomiota siihen, miten useat kanavat on ajoitettu.

2. Määritä mallien työmäärät ja vie GMAC/s. Käytä työkaluja GMAC/s-vientiin kullekin mallille erottaen NPU-kiihdytetyn laskennan CPU-jälkikäsittelystä.

3. Mittaa kohdelevyllä suoritustehokkuuden määrittämiseksi. Muunna mallit alustan muotoon ehdokas-SoC-piireillä, kuten RK3576 tai RK3588. Mittaa päättelyaika kehystä kohden määrittääksesi mallin todellisen läpimenon kyseisellä NPU:lla. Tämä on tärkein vaihe paperiarvioiden eroavaisuuksien poistamiseksi: kaikki arviot on kalibroitava levytason mittauksia vasten yleisten kaavojen sijaan.

4. Yhdistä monikanavaiset työkuormat ja arvioi järjestelmän pullonkauloja. Arvioi sekä normaalia vakaata toimintaa että pahinta mahdollista huippua, jossa kaikki kanavat laukeavat samanaikaisesti. Tarkista DDR-kaistanleveys ja muistin käyttö samanaikaisesti. Monet RK:n monikameraprojektiot kuluttavat kaistanleveyden loppuun, vaikka laskentakapasiteettia on vielä käytettävissä.

5. Varaa riittävästi liikkumavaraa ja aseta rajat. Käytä 1,1–1,2:n liikkumavaraa lyhytaikaisille tuotteille, joilla on pitkälti kiinteät algoritmit, ja 1,3–1,4:n liikkumavaraa tuotteille, joiden odotetaan saavan mallipäivityksiä. Liikumavaran tulisi kattaa mallin kehitys, huippuskenaariot ja aikataulutuksen ylimääräinen kuormitus mielivaltaisen ylitarjoilun sijaan. Aseta osaluettelon kustannus- ja tehorajat samanaikaisesti.

6. Viisi yleistä NPU-kapasiteettisuunnittelun sudenkuoppaa

6.1 Pelkän siru-TOPSin käyttö ja kiinteä käyttöaste

Kiinteän 40 %:n käyttöasteen soveltaminen mainostettuun TOPS-järjestelmään voi yliarvioida laskentavaatimukset moninkertaisesti ja poiketa merkittävästi todellisista suunnitteluolosuhteista. Käyttöaste vaihtelee huomattavasti mallien ja NPU-arkkitehtuurien välillä.

6.2 Kanavamäärällä kertominen ja aikajaon huomiotta jättäminen

Aikajaetussa toiminnassa NPU käsittelee kanavia vuorotellen ja sen laskentakapasiteettia käytetään uudelleen. Pelkkä kanavien määrän kertominen yksittäisen kanavan laskentatarpeella voi yliarvioida vaatimukset pahasti, mikä johtaa ylitehokkaaseen ja tarpeettoman kalliiseen siruun.

6.3 NPU-laskennan arviointi DDR-kaistanleveyttä huomiotta jättäen

Kaistanleveyden pullonkaulat ovat paljon yleisempiä kuin laskentakapasiteetin pullonkaulat monikameranäköprojekteissa. NPU:lla voi olla jäljellä huomattavasti kapasiteettia, mutta tiedonsiirrot eivät pysy perässä, mikä rajoittaa kuvanopeutta. Kaistanleveys on arvioitava ensin monikameraprojekteissa.

6.4 Keskimääräisen kuormituksen huomioon ottaminen ohimenevien huippujen huomiotta jättämisen sijaan

Tuote voi toimia suurimman osan ajasta pienellä kuormituksella, mutta kokea ohimeneviä kuormituspiikkejä, kun kaikki kamerat laukaisevat tekoälyn samanaikaisesti. Suunnittelun on otettava huomioon nämä piikit, mutta tehtäväjono voi tasoittaa ohimenevää kysyntää, joten sirua ei välttämättä tarvitse mitoittaa suoraan laskentatehon huipputarpeen mukaan.

6.5 Pelkän mallinnuksen laskeminen ja järjestelmän lisäkustannusten huomiotta jättäminen

Monet arviot laskevat mukaan vain tekoälyn runkoverkon GMAC-arvon ja jättävät huomiotta internet-palveluntarjoajan esikäsittelyn, kuvien kopioinnin ja suorittimen jälkikäsittelyn. Vaikka NPU-kapasiteetti olisi riittävä, nämä lisäkuormat lisäävät päästä päähän -latenssia ja estävät odotetun kuvanopeuden saavuttamisen.

7. Alustan valinnan käyttöönoton tarkistuslista

Listaa kaikki kameran parametrit: resoluutio, kuvataajuus ja kanavien määrä. Vahvista, käyttävätkö kanavat rinnakkaista vai aikajakoista aikataulutusta.

Vie GMAC kullekin mallille ja erota NPU-laskenta CPU-jälkikäsittelystä.

Mittaa yksittäisen mallin päättelyaikaa ehdokasalustoilla todellisen suoritustehokkuuden määrittämiseksi.

Yhdistä monikanavaisia työkuormia ja arvioi NPU-laskennan käyttöastetta sekä vakio- että huippuolosuhteissa.

Mittaa DDR-kaistanleveyttä ja muistin käyttöä määrittääksesi, onko kaistanleveys pullonkaula.

Validoi mallioperaattorit ja varmista NPU-laitteistokiihdytyksen tuki suorittimen varatoimintojen välttämiseksi.

Varaa laskentatehoa tuotepäivityssuunnitelman mukaisesti ja aseta tuoterakenteen kustannus- ja tehorajat.

Suorita laajoja rasitustestejä samanaikaisilla monikanavaisilla liipaisimella. Tarkista ruudunpäivitysnopeuden vaihtelut ja muistin loppumisesta johtuvat kaatumiset.

NPU-kapasiteetin mitoitus sulautettua näköä varten ei ole yksinkertainen matemaattinen harjoitus TOPS-kaavaa sovellettaessa. Paperiarviot tarjoavat vain alustavan suunnittelun viitekehyksen. Lopullinen validointi on suoritettava kohdesirun kehityslevyllä.

Täydellinen arviointi seuraa seuraavaa järjestystä: määritä, onko laskentateho pullonkaula → vahvista rinnakkainen vai aikajaettu ajoitus → mittaa GMAC-mallinnusta → priorisoi DDR-kaistanleveyden arviointi → kalibroi piirilevytason testauksella → varaa riittävästi laskentatehoa.

Tavoitteena on tasapainottaa suorituskyky, virrankulutus ja kustannukset. Valitse tehtävään riittävä kapasiteetti sen sijaan, että tavoittelet yhä korkeampia NPU-huipputehoja.

MV11 on neljän kameran laitteistosynkronoitu konenäkö- ja inertianavigointifuusiolaskenta-alusta, joka perustuu tehokkaaseen Rockchip RK3576 -prosessoriin. Se sisältää 6 TOPS NPU:n ja 4 Gt:n LPDDR4-muistin ja tukee mikrosekunnin tason synkronointia neljän kameran välillä. Sopivia sovelluksia ovat robottitunnistus ja -ilmaisu, VIO-, SLAM- ja monikamera-EGO-tiedonkeruu. Se voi toimia laitteistoalustana edellä kuvatuille piirilevytason laskennalle, kaistanleveydelle ja monikanavaisille ajoitustesteille. Näytteitä on saatavilla projektin varhaista arviointia varten, ja kokonaisia konenäköratkaisuja voidaan räätälöidä käyttöönoton tueksi. Ota yhteyttä osoitteeseen [email protected].