Hur mycket DDR-minne kräver ett AI-seende-system med flera kameror? (med urvalstabell för RK3576)

Med den snabba utvecklingen av AI-visionstillämpningar har lösningar med flera kameror (stereokameror, fyrkameror och till och med fler kamerakanaler) blivit allmänt använda i scenarier som datainsamling, säkerhetsövervakning, industriell inspektion, robotperception och edge computing. Många projekt hamnar i en vanlig fäll under hårdvaruval: de fokuserar uteslutande på chips beräkningskraft och bortser från minneskonfigurationen. Detta leder till problem som bildrutor som går förlorade, slö AI-inferens och systemkrascher.

Är större DDR-minne alltid bättre? Ja, ur prestanda- och stabilitetssynpunkt. Nackdelen är dock uppenbar – det är dyrt, särskilt med tanke på den senaste prisökningen för DDR-minne. Att balansera kostnaden mot de faktiska projektkraven blir avgörande vid val av lösning.

Låt oss titta på den vanligaste fällen vid dimensionering av DDR-minne: minnesanvändningen kan verka låg under normala förhållanden, men den kan stiga kraftigt till toppvärden vid samtidiga uppgiftsburstar, vilket direkt utlöser systemkrascher. Många team använder genomsnittlig minnesanvändning för hårdvaruutvärdering. Ta exempelvis den allmänt använda AR0234-sensorn: en enda 1080P-kamera förbrukar ett moderat minne i viloläge. När hela datapipelin – insamling, ISP, AI-inferens och kodning – dock körs, kan dess toppminnesanvändning nå flera tiotals MB per kanal. För en 4K-kamera kan den per-kanal-toppanvändningen överskrida 100 MB. Även en vanlig HTTP-förfrågan förbrukar flera MB per anslutning. Dessa enskilda belastningar verkar marginella, men de ackumuleras snabbt så fort flera kameror och uppgifter aktiveras samtidigt. Detta kan utlösa OOM (Out-of-Memory), vilket leder till avslutade processer och systemfel.

Var förbrukas minnet i flerkamerabaserade AI-visionssystem?

Minnet på edge-visionenheter används inte uteslutande av AI-modeller. Det delas mellan bildinfångning, förbearbetning, AI-inferens, systemtjänster och programarbetsbelastningar. Minnesöverhead ökar med varje ytterligare kamerakanal.

1. Bildbuffertar (största källan till overhead) Råbilder, YUV-ramar och skalade ramar som genereras av varje kamera använder minne. För en AR0234 som kör vid 1080p@30 fps upptar en enda YUV-ram flera MB. För att undvika ramförluster underhåller systemet ringbuffertar med flera ramar, vilket ytterligare ökar minnesanvändningen. Att generera flera bildvarianter (original, miniatyrer, beskurna ramar) skapar ytterligare rambuffertar. Minnesanvändningen multipliceras när flera kameror strömmar samtidigt.

2. ISP- och bildförbearbetningsoverhead ISP:n är en oberoende hårdvaruaccelerator som utför brusreducering, färgkorrigering, distorsionskorrigering, rotation, beskärning och formatomvandling. ISP:n innehåller endast en begränsad on-chip-cache utan storkapacitetsramlagring för bilder. Tillfälliga buffertar måste därför allokeras i DDR för många operationer. Fler kamerakanaler innebär tyngre ISP-arbetsbelastning och högre krav på DDR-kapacitet.

3. Minne för AI-modellinferens AI-inferens förbrukar minne i två delar. Först är modellens vikter: större modellparametrar resulterar i högre minnesanvändning. Lyckligtvis läses vikterna in en gång vid modellens initiering; deras minnesanvändning ökar inte med fler kamerakanaler eller scenarier under körning.

Påverkas minnet inte under inferenskörningens körningsfas? Inte alls. Detta leder oss till den andra komponenten: mellanliggande funktionsbuffertar som genereras under inferens. Varje kamerakanal kräver sin egen beräkningsbuffert, vilket höjer den totala minnesanvändningen. Synkroniserad AI-inferens över flera kameror kräver flera oberoende beräkningsbuffertar. Därmed innebär fler kanaler högre minnesbelastning för inferensbuffertar.

4. System, drivrutiner och mellanprogramvara – overhead Ta vår RK3576-visionlösning som exempel. Grundläggande systemminne förbrukas av Linux-kärnan, RK-media-drivrutinerna, RKMPP-media-ramverket, NPU-drivrutinerna, systemloggar och körs processer. I flerkameradistributioner lägger media-ramverken och videoenkodning (H.264 / H.265-inspelning) betydande minnesbelastning. Att aktivera flerkanalens kodning och inspelning orsakar en skarp ytterligare ökning av minnesbelastningen.

Viktigt notis: Detta avser arbetsminne (DDR RAM), inte eMMC-lagring. eMMC lagrar endast kodade videofiler.

5.Användningsområde - Läkert företagsminnet Applikationslogik, inklusive analys av inferensresultat, spårning av flera objekt, rapportering av data, lokal cachning och snabbminneslagring, konsumerar minne. Till exempel lagrar spårningsalgoritmer måldata med flera bilder. Fler kameror och spårade objekt genererar större datamängder och högre minnesförbrukning på applikationsnivå.

Praktisk minnesprestanda på RK3576-plattformen

RK3576 är en avancerad AI-processor som levererar 6 TOPS av NPU-prestanda, väl lämpad för multi-kamera AI-vision. Vårt företag har flera mogna massproduktionsprodukter som stöder 1 till 6 kamerakanaler för att matcha olika projektkrav. 4 GB DDR är den vanligaste massproduktionskonfigurationen, medan alternativa DDR-storlekar stöds för varierande arbetsbelastningar.

Följande tabell gäller för vanliga 1080p-4K-kamerasensorer på marknaden:

Om du är osäker på lämplig minneskonfiguration, kontakta oss på [email protected]. Vi tillhandahåller en anpassad lösningsevaluering baserad på antalet kamerakanaler, upplösning, affärslogik och körbelastning.