Mennyi DDR memóriára van szükség egy többkamerás AI-látási rendszerhez? (RK3576 kiválasztási táblázattal)

Az AI-látási alkalmazások gyors fejlődésével a többkamerás megoldások (stereó, négykamerás és még több kameracsatornás rendszerek) széles körben elterjedtek olyan területeken, mint az adatgyűjtés, a biztonsági megfigyelés, az ipari ellenőrzés, a robotérzékelés és az él-számítástechnika. Számos projekt során a hardver kiválasztásakor gyakori hiba, hogy kizárólag a chip számítási teljesítményére figyelnek, miközben figyelmen kívül hagyják a memória konfigurációt. Ez végül képkocka-elhagyáshoz, lassú AI-következtetéshez és rendszerösszeomlásokhoz vezet.

A nagyobb DDR-memória mindig jobb? Igen, a teljesítmény és az állékonyság szempontjából. Azonban a hátránya nyilvánvaló – megterheli a pénztárcát, különösen tekintettel a DDR-árak mostani drasztikus emelkedésére. A költség és a tényleges projektigények közötti egyensúly megtalálása döntő fontosságú a megoldás kiválasztásakor.

Nézzük meg a DDR-méretezés leggyakoribb csapdáját: a memóriahasználat normál körülmények között alacsonynak tűnhet, de egyidejű feladatok rövid ideig tartó tömeges elvégzésekor csúcsértékekre is emelkedhet, ami közvetlenül rendszerösszeomlást eredményezhet. Sok csapat átlagos memóriafogyasztást használ a hardver értékelésére. Vegyük példaként a széles körben alkalmazott AR0234 érzékelőt: egyetlen 1080P-os kamera tétlen állapotban mérsékelt memóriát használ. Ugyanakkor, ha a teljes feldolgozási folyamatot – képfelvétel, ISP, mesterséges intelligencia-alapú következtetés és kódolás – futtatjuk, a csúcsmemóriahasználat kameránként több tíz MB-ot is elérhet. Egy 4K-os kameránál a csúcsfelhasználás kameránként 100 MB felett is lehet. Még egy egyszerű HTTP-kérés is több MB memóriát igényel kapcsolatonként. Ezek az egyedi terhelések külön-külön csekélynek tűnnek, de több kamera és feladat egyidejű aktiválása esetén gyorsan összeadódnak. Ez OOM (Out-of-Memory) helyzetet okozhat, amely folyamatok megszakításához és rendszerhiba kialakulásához vezethet.

Hol fogyasztja a memóriát a többkamerás AI-látási rendszerekben?

Az élvezeti látási eszközök memóriája nem kizárólag az MI-modellek számára áll rendelkezésre. A memória megosztott: a képfelvétel, az előfeldolgozás, az MI-következtetés, a rendszerszolgáltatások és az alkalmazási terhelések is használják. A memóriaigény minden további kameracsatorna hozzáadásával nő.

1. Képpuffer (a legnagyobb túlterhelés forrása) Minden egyes kamera nyers képe, YUV-keretei és méretezett keretei memóriát foglalnak le. Egy AR0234-es szenzor 1080P@30fps sebességnél működve egyetlen YUV-keret több MB memóriát vesz igénybe. A képkocka-elhagyás elkerülése érdekében a rendszer többképkockás gyűrűpuffereket tart fenn, ami tovább növeli a memóriafoglalást. Többféle képváltozat létrehozása (eredeti, bélyegkép, kivágott keretek) további képpuffereket eredményez. Több kamera egyidejű adatfolyamánál a memóriahasználat szorzódik.

2. ISP és kép-előfeldolgozási túlterhelés Az ISP egy független hardveres gyorsító, amely zajcsökkentést, színkorrekciót, torzuláskorrekciót, forgatást, kivágást és formátumkonverziót végez. Az ISP-ben csak korlátozott méretű, chipre integrált gyorsítótár található, nagy kapacitású képképes tároló nélkül. Ezért sok művelet esetén ideiglenes puffermemóriát kell lefoglalni a DDR-ben. Több kameracsatorna nehezebb ISP-terhelést és nagyobb DDR-kapacitás-igényt jelent.

3. Memória az AI-modell következtetési folyamatához Az AI-következtetés két részben használ memóriát. Az első a modell súlyai: nagyobb modellparaméterek magasabb memóriafogyasztással járnak. Szerencsére a súlyokat csak egyszer töltik be a modell inicializálásakor; memóriahasználatuk nem nő a kameracsatornák vagy forgatókönyvek számának növekedésével a futásidő során.

Nem érinti a memóriát az inferencia futásidejű fázisa? Egyáltalán nem. Ez elvezet minket a második összetevőhöz: az inferencia során létrehozott köztes jellemzőpuffer-ekhez. Minden kameracsatorna saját számítási pufferre van szüksége, ami növeli az összes memóriahasználatot. A többkamerás szinkronizált AI-inferencia több független számítási puffer igénylését vonja maga után. Ezért több csatorna egyenlő több memória-terheléssel az inferencia puffer-ek tekintetében.

4. Rendszer-, vezérlőprogram- és köztesréteg-terhelés Vegyük példaként a RK3576 látási megoldásunkat. Az alaprendszer memóriáját a Linux kernel, az RK média vezérlőprogramok, az RKMPP média keretrendszer, az NPU vezérlőprogramok, a rendszer naplók és a futó folyamatok használják fel. Többkamerás telepítések esetén a média keretrendszerek és a videókódolás (H.264 / H.265 rögzítés) jelentős memóriaterhelést adnak hozzá. A többcsatornás kódolás és rögzítés engedélyezése további, éles emelkedést eredményez a memóriaterhelésben.

Fontos megjegyzés: Ez a működési memóriára (DDR RAM) vonatkozik, nem az eMMC tárolóra. Az eMMC csak a kódolt videofájlokat tárolja.

5.Alkalmazás – Rétegüzleti memória Az alkalmazáslogika – beleértve az inferenciaeredmények feldolgozását, többobjektumos nyomon követést, adatjelentést, helyi gyorsítótárazást és pillanatkép-tárolást – memóriát használ. Például a nyomon követő algoritmusok több képkockás céladatot tárolnak. Több kamera és több nyomon követett objektum nagyobb adathalmazt és magasabb szintű alkalmazási memóriahasználatot eredményez.

Gyakorlati memóriateljesítmény az RK3576 platformon

Az RK3576 egy vezető hazai perem-AI processzor, amely 6 TOPS-os NPU-teljesítményt nyújt, és kiválóan alkalmas többkamerás AI-látási megoldások üzembe helyezésére. Cégünknek több érett, tömeggyártásba került terméke van, amely 1–6 kameracsatornát támogat, így különféle projektkövetelményeknek is megfelel. A 4 GB DDR a legelterjedtebb tömeggyártási konfiguráció, de eltérő DDR-méretek is támogatottak különböző terhelési profilokhoz.

Az alábbi táblázat a piacon elérhető gyakori 1080p–4K kamerák érzékelőire vonatkozik:

Ha bizonytalan a megfelelő memória-konfigurációval kapcsolatban, kérjük, lépjen kapcsolatba a [email protected] címre. Egyéni megoldásértékelést nyújtunk a kameracsatornák száma, a felbontás, az üzleti logika és a futásidejű terhelés alapján.