Câtă memorie DDR este necesară unui sistem AI de viziune cu mai multe camere? (Cu tabelul de selecție RK3576)

În contextul progresului rapid al aplicațiilor de viziune AI, soluțiile cu mai multe camere (stereo, quad-camera și chiar mai multe canale video) au fost adoptate pe scară largă în scenarii precum achiziția de date, supravegherea pentru siguranță, inspecția industrială, percepția robotilor și calculul la margine. Multe proiecte cad într-o capcană comună în faza de selecție a hardware-ului: se concentrează exclusiv pe puterea de calcul a cipului, ignorând în același timp configurația memoriei. Aceasta duce, în cele din urmă, la probleme precum pierderea cadrelor, întârzieri în inferența AI și blocarea sistemului.

Este întotdeauna mai bine să aibă o memorie DDR mai mare? Da, din perspectiva performanței și stabilității. Totuși, dezavantajul este evident — afectează bugetul, mai ales având în vedere creșterea recentă a prețurilor DDR. Găsirea unui echilibru între cost și cerințele reale ale proiectului devine esențială în procesul de selecție a soluției.

Să analizăm cea mai frecventă capcană în dimensionarea memoriei DDR: utilizarea memoriei poate părea scăzută în condiții normale, dar poate crește brusc până la valori maxime în timpul unor rafale de sarcini concurente, provocând direct blocarea sistemului. Multe echipe folosesc consumul mediu de memorie pentru evaluarea hardware-ului. Luați ca exemplu senzorul AR0234, larg utilizat: o singură cameră 1080P consumă o cantitate modestă de memorie în modul de așteptare inactivă. Totuși, atunci când rulează întreaga rutină de captură–ISP–inferență AI–codificare, memoria maximă necesară poate ajunge la zeci de MB pe canal. Pentru o cameră 4K, consumul maxim pe canal poate depăși 100 MB. Chiar și o cerere HTTP obișnuită consumă câțiva MB pe conexiune. Aceste supracosturi individuale par mici, dar se acumulează rapid odată ce mai multe camere și sarcini devin active simultan. Acest lucru poate declanșa o stare OOM (Out-of-Memory), ducând la închiderea proceselor și la eșecul sistemului.

Unde se consumă memoria în sistemele de viziune AI cu mai multe camere?

Memoria dispozitivelor de viziune edge nu este utilizată exclusiv de modelele de inteligență artificială. Aceasta este partajată între captarea imaginilor, preprocesarea acestora, inferența AI, serviciile sistemului și sarcinile aplicațiilor.

1. Bufferele de imagine (cea mai mare sursă de suprasolicitare) Imaginile brute, cadrele YUV și cadrele scalate generate de fiecare cameră consumă memorie. Pentru o cameră AR0234 care funcționează la 1080P@30fps, un singur cadru YUV ocupă câțiva MB. Pentru a preveni pierderea cadrelor, sistemul menține buffere inelare cu mai multe cadre, ceea ce mărește în continuare amprenta de memorie. Generarea mai multor variante ale imaginii (originală, miniatură, cadre tăiate) creează buffere suplimentare pentru cadre. Utilizarea de memorie se multiplică atunci când mai multe camere transmit fluxuri simultan.

2. Suprasolicitarea ISP și a preprocesării imaginii ISP este un accelerator hardware independent care efectuează reducerea zgomotului, corecția culorii, corecția distorsiunilor, rotația, decuparea și conversia formatului. ISP conține doar o memorie cache limitată pe cip, fără stocare pe chip pentru cadre de mare capacitate. Prin urmare, trebuie alocate buffere temporare în DDR pentru multe operațiuni. Mai multe canale video implică sarcini de lucru mai mari pentru ISP și necesită o capacitate mai mare de DDR.

3. Memorie pentru inferența modelului AI Inferența AI consumă memorie în două părți. Prima parte o reprezintă ponderile modelului: parametrii mai mari ai modelului determină un consum mai mare de memorie. Din fericire, ponderile sunt încărcate o singură dată la inițializarea modelului; amprenta lor în memorie nu crește odată cu numărul crescut de canale video sau al scenariilor în timpul rulării.

Memoria nu este afectată în timpul fazei de execuție a inferenței? Deloc. Aceasta ne conduce la al doilea component: bufferele de caracteristici intermediare generate în timpul inferenței. Fiecare canal video necesită propriul buffer de calcul, ceea ce crește consumul total de memorie. Inferența AI sincronizată pe mai multe camere necesită mai multe buffere de calcul independente. Prin urmare, un număr mai mare de canale implică o suprasarcină mai mare de memorie pentru bufferele de inferență.

4. Suprasarcină a sistemului, a driverelor și a middleware-ului Să luăm ca exemplu soluția noastră de viziune RK3576. Memoria de bază a sistemului este consumată de nucleul Linux, de driverii media RK, de framework-ul media RKMPP, de driverii NPU, de jurnalele sistemului și de procesele în execuție. În implementările cu mai multe camere, framework-urile media și codificarea video (înregistrare H.264 / H.265) adaugă o sarcină semnificativă de memorie. Activarea codificării și înregistrării pe mai multe canale determină creșteri bruscă ale presiunii asupra memoriei.

Notă importantă: Acest lucru se referă la memoria de lucru (DDR RAM), nu la stocarea eMMC. eMMC stochează doar fișierele video codificate.

5.Aplicație - Stratul de memorie al afacerii Logica aplicației, inclusiv analiza rezultatelor inferențiale, urmărirea obiectelor multiple, raportarea datelor, stocarea locală în cache și stocarea instantaneelor, consumă memorie. De exemplu, algoritmii de urmărire stochează date despre obiecte țintă pe mai multe cadre. Mai multe camere și obiecte urmărite generează seturi de date mai mari și un consum mai ridicat de memorie la nivelul aplicației.

Performanța practică a memoriei pe platforma RK3576

RK3576 este un procesor AI de margine domestic de referință, oferind o performanță NPU de 6 TOPS, foarte potrivit pentru implementări AI-vizuale cu mai multe camere. Compania noastră are mai multe produse maturizate, deja în producție în masă, care suportă între 1 și 6 canale video, pentru a satisface diversele cerințe ale proiectelor. Configurația standard în producția în masă este de 4 GB DDR, iar dimensiuni alternative de DDR sunt suportate în funcție de sarcinile de lucru specifice.

Tabelul de mai jos se aplică senzorilor obișnuiți de camere 1080p–4K disponibili pe piață:

Dacă nu sunteți sigur cu privire la configurația adecvată a memoriei, vă rugăm să contactați adresa [email protected]. Vom oferi o evaluare personalizată a soluției, bazată pe numărul de canale ale camerei dvs., rezoluție, logică de afaceri și sarcină de lucru în timpul rulării.