Kuinka paljon DDR-muistia monikamerainen tekoälykuvantunnistusjärjestelmä vaatii? (RK3576-valintataulukko mukana)

Tekoälykuvantunnistussovellusten nopean kehityksen myötä monikameraratkaisuja (stereokamerat, nelikamerajärjestelmät ja jopa useampikamerainen konfiguraatio) käytetään laajalti esimerkiksi tiedonkeruussa, turvavalvonnassa, teollisessa tarkastuksessa, robotin havaintokykyssä ja reuna-laskennassa. Monet projektit jäävät yleiseen ansaan laitteiston valinnassa: keskittyvät ainoastaan piirin laskentatehoon ja jättävät huomiotta muistikonfiguraation. Tämä johtaa lopulta ongelmiin kuten kuvakehysten menetykseen, hidastuneeseen tekoälypäätöksentekoon ja järjestelmän kaatumiseen.

Onko suurempi DDR-muisti aina parempi? Kyllä, suorituskyvyn ja vakauden näkökulmasta. Kuitenkin haittapuoli on ilmeinen – se rasittaa budjettia, erityisesti ottaen huomioon viimeaikaisen DDR-muistihintojen nousun. Kustannusten ja todellisten projektivaatimusten tasapainottaminen on ratkaisevan tärkeää ratkaisun valinnassa.

Tarkastellaan yleisintä ansaa DDR-muistin koon määrittämisessä: muistinkäyttö voi vaikuttaa alhaiselta normaalissa olosuhteissa, mutta se voi kohota huippuarvoihinsa yhtäaikaisten tehtävien aikana, mikä aiheuttaa suoraan järjestelmän kaatumisen. Monet tiimit käyttävät laitteiston arviointiin keskimääräistä muistinkulutusta. Otetaan esimerkiksi laajalti käytetty AR0234-anturi: yksittäinen 1080p-kamera kuluttaa vähän muistia odotustilassa. Kuitenkin, kun suoritetaan koko putki – kuvanotto, ISP, tekoälypäättely ja koodaus – sen huippumuistinkulutus voi nousta kymmeniin megatavuihin kanavaa kohden. 4K-kamerassa kanavaa kohden huippukulutus voi ylittää 100 megatavua. Jopa tavallinen HTTP-pyyntö kuluttaa useita megatavuja yhtä yhteyttä kohden. Nämä yksittäiset lisäkuormat vaikuttavat pieniltä, mutta ne kertyvät nopeasti, kun useita kameria ja tehtäviä käynnistetään samanaikaisesti. Tämä voi aiheuttaa OOM:n (Out-of-Memory), mikä johtaa prosessien sulkeutumiseen ja järjestelmän epätoimintaan.

Missä muistia kulutetaan monikamerainen tekoälyvisiojärjestelmissä?

Muisti reuna-alueen näkölaitteissa ei käytetä yksinomaan tekoälymallien tarpeisiin. Se jaetaan kuvien tallennuksen, esikäsittelyn, tekoälyn päättelyn, järjestelmäpalvelujen ja sovelluskuormien kesken. Muistikuorma kasvaa jokaisen lisäkamerakanavan myötä.

1. Kuvapuskurit (suurin kuormalähde) Jokaisen kameran tuottamat raakakuvat, YUV-kehykset ja skaalatut kehykset kuluttavat muistia. AR0234 -kamerassa 1080P@30fps-taajuudella yksi YUV-kehyksestä vie useita megatavuja. Kehysten pudotuksen estämiseksi järjestelmä pitää yllä usean kehyksen renkaanmuotoisia puskureita, mikä lisää muistinkäyttöä entisestään. Useiden kuvaversioiden (alkuperäinen, pienoiskuva, rajattu kehys) luominen luo lisää kehyspuskureita. Muistinkäyttö moninkertaistuu, kun useat kamerat lähettävät kuvia samanaikaisesti.

2. ISP- ja kuvan esikäsittelykuorma ISP on riippumaton laitekiihdytin, joka suorittaa kohinan vähentämistä, värikorjausta, vääristymäkorjausta, kiertämistä, rajauksia ja muotojen muunnoksia. ISP:ssä on vain rajoitettu sisäinen välimuisti, eikä siinä ole suurikapasiteettista kehysmuistia. Siksi monien toimintojen väliaikaiset puskurit on varattava DDR-muistiin. Enemmän kamerakanavia tarkoittaa raskaampaa ISP:n kuormitusta ja suurempaa DDR-muistikapasiteetin tarvetta.

3. Muisti tekoälymallin päätöksentekoa varten Tekoälyn päätöksenteko kuluttaa muistia kahdessa osassa. Ensimmäinen osa ovat mallin painokertoimet: suuremmat malliparametrit johtavat korkeampaan muistinkulutukseen. Onneksi painokertoimet ladataan kerran mallin alustuksen yhteydessä; niiden muistivaatimus ei kasva kamerakanavien tai skenaarioiden määrän kasvaessa ajon aikana.

Eikö muisti vaikutu suoritusaikaisessa päättelyvaiheessa lainkaan? Ei lainkaan. Tämä johtaa meidät toiseen komponenttiin: päättelyn aikana tuotettuihin välitulostuspuskureihin. Jokainen kamerakanava vaatii omansa laskentapuskurin, mikä nostaa kokonaismuistinkäyttöä. Synkronoidun tekoälypäättelyn suorittaminen useilla kameroilla vaatii useita riippumattomia laskentapuskureita. Siksi enemmän kanavia tarkoittaa suurempaa muistikuormitusta päättelypuskureille.

4. Järjestelmä-, ajuri- ja välitaso-ohjelmiston kuormitus Otetaan esimerkiksi RK3576-näköratkaisumme. Perusjärjestelmän muistia käytetään Linux-ytimen, RK:n mediayhteensopivuusajurien, RKMPP:n mediarungon, NPU-ajurien, järjestelmän lokitiedostojen ja käynnissä olevien prosessien tarpeisiin. Monikanavaisissa kameraratkaisuissa mediarungot ja videokoodaus (H.264 / H.265-tallennus) lisäävät huomattavasti muistikuormitusta. Monikanavaisen koodauksen ja tallennuksen ottaminen käyttöön aiheuttaa jyrkän lisäyksen muistipaineeseen.

Tärkeä huomautus: Tässä viitataan työmuisiin (DDR RAM), ei eMMC-tallennustilaan. eMMC-tallennustila säilyttää vain koodatut videotiedostot.

5.Käyttötarkoitus -Kerrostettu liiketoimintamuisti Sovelluslogiikka, johon kuuluu päätelmien tulosten jäsentäminen, useiden kohteiden seuranta, tiedon raportointi, paikallinen välimuisti ja kuvakaappauksien tallennus, kuluttaa muistia. Esimerkiksi seuranta-algoritmit tallentavat usean kuvakehyksen kohdetietoja. Enemmän kameroiden ja seurattavien kohdeteen aiheuttaa suurempia tietojoukkoja ja korkeampaa sovellustason muistinkulutusta.

Käytännön muistisuorituskyky RK3576-alustalla

RK3576 on yleisesti käytetty kotimainen reuna-AI-prosessori, joka tarjoaa 6 TOPS:n NPU-suorituskyvyn ja sopii hyvin monikamerainen tekoälyvisioon. Yrityksemme tuotteista on useita kypsyttyjä sarjatuotantovalmiita ratkaisuja, jotka tukevat 1–6 kamerakanavaa erilaisten projektivaatimusten täyttämiseksi. 4 Gt DDR on yleisin sarjatuotantokonfiguraatio, mutta vaihtoehtoisia DDR-kokoja tuetaan erilaisiin työkuormiin.

Alla oleva taulukko koskee yleisesti markkinoilla saatavia 1080p–4K-kamerakuplia:

Jos olet epävarma sopivasta muistikonfiguraatiosta, ota yhteyttä osoitteeseen [email protected]. Tarjoamme mukautetun ratkaisuarvion perustuen kamerakanavien lukumäärään, resoluutioon, liiketoimintalogiikkaan ja suoritusaikaiseen kuormitukseen.