Hoeveel DDR-geheugen heeft een AI-vision-systeem met meerdere camera’s nodig? (met selectietabel RK3576)

Door de snelle vooruitgang van AI-visiontoepassingen worden oplossingen met meerdere camera’s (stereo-, viercamera- en zelfs nog meer camerakanalen) op grote schaal toegepast in scenario’s zoals gegevensverzameling, beveiligingsbewaking, industriële inspectie, robotperceptie en edge computing. Veel projecten vallen tijdens de hardwareselectie in een veelvoorkomende valkuil: ze richten zich uitsluitend op de rekencapaciteit van de chip en verwaarlozen de geheugenconfiguratie. Dit leidt uiteindelijk tot problemen zoals frameverlies, trage AI-inferentie en systeemcrashes.

Is groter DDR-geheugen altijd beter? Ja, vanuit het oogpunt van prestaties en stabiliteit. De nadelen zijn echter duidelijk — het belast de portemonnee, vooral gezien de recente stijging van DDR-prijzen. Een evenwicht vinden tussen kosten en de daadwerkelijke vereisten van het project is daarom cruciaal bij de keuze van de oplossing.

Laten we kijken naar de meest voorkomende valkuil bij het dimensioneren van DDR-geheugen: geheugengebruik kan onder normale omstandigheden laag lijken, maar kan plotseling piekwaarden bereiken tijdens korte periodes met veel gelijktijdige taken, wat direct systeemcrashes veroorzaakt. Veel teams gebruiken het gemiddelde geheugengebruik voor hardwarebeoordeling. Neem als voorbeeld de veelgebruikte AR0234-sensor: een enkele 1080P-camera verbruikt weinig geheugen in de sluimerstand. Toch kan het piekgeheugengebruik bij uitvoering van de volledige pijplijn — opname-ISP-AI-inferentie-codering — tientallen MB per kanaal bereiken. Bij een 4K-camera kan het piekgebruik per kanaal meer dan 100 MB bedragen. Zelfs een gewoon HTTP-verzoek verbruikt meerdere MB per verbinding. Deze individuele overheads lijken klein, maar ze sommeren zich snel zodra meerdere camera’s en taken tegelijk actief worden. Dit kan leiden tot OOM (Out-of-Memory), met als gevolg beëindigde processen en systeemstoring.

Waar wordt geheugen verbruikt in multi-camera AI-visionssystemen?

Geheugen op edge vision-apparaten wordt niet uitsluitend gebruikt door AI-modellen. Het wordt gedeeld tussen beeldopname, voorverwerking, AI-inferentie, systeemservices en toepassingsworkloads. De geheugenbelasting stijgt met elk extra camerakanaal.

1. Beeldbuffers (grootste bron van overhead) Ruwe beelden, YUV-frames en geschaalde frames die door elke camera worden uitgevoerd, nemen geheugen in beslag. Voor een AR0234 die werkt op 1080p@30fps neemt één enkel YUV-frame meerdere MB in beslag. Om frameverlies te voorkomen onderhoudt het systeem ringbuffers met meerdere frames, wat het geheugengebruik verder vergroot. Het genereren van meerdere beeldvarianten (origineel, miniatuur, uitgesneden frames) creëert extra framebuffers. Het geheugengebruik wordt vermenigvuldigd wanneer meerdere camera’s gelijktijdig streamen.

2. ISP- en beeldvoorverwerkingsoverhead De ISP is een onafhankelijke hardwareversneller die ruisreductie, kleurcorrectie, vervormingscorrectie, rotatie, bijsnijden en formaatconversie uitvoert. De ISP bevat slechts een beperkte on-chip cache zonder opslagcapaciteit voor volledige frames. Tijdelijke buffers moeten daarom in DDR worden toegewezen voor vele bewerkingen. Meer camerakanalen betekenen zwaardere ISP-belastingen en hogere DDR-capaciteitseisen.

3. Geheugen voor AI-modelinferentie AI-inferentie verbruikt geheugen in twee delen. Ten eerste zijn er de modelgewichten: grotere modelparameters leiden tot hoger geheugengebruik. Gelukkig worden de gewichten slechts één keer bij de initialisatie van het model geladen; hun geheugengebruik neemt tijdens runtime niet toe met meer camerakanalen of scenario’s.

Wordt het geheugen niet beïnvloed tijdens de inferentieruntimefase? Helemaal niet. Dit brengt ons bij het tweede onderdeel: tussentijdse functiebuffers die tijdens inferentie worden gegenereerd. Elk camerakanaal vereist zijn eigen berekeningsbuffer, wat het totale geheugengebruik verhoogt. Gesynchroniseerde AI-inferentie over meerdere camera's vereist meerdere onafhankelijke berekeningsbuffers. Daarom betekent meer kanalen een hogere geheugenbelasting voor inferentiebuffers.

4. Systeem-, stuurprogramma- en middleware-overhead Neem onze RK3576-visionoplossing als voorbeeld. Het basissysteemgeheugen wordt gebruikt door de Linux-kernel, RK-mediastuurprogramma’s, het RKMPP-mediaframework, NPU-stuurprogramma’s, systeemlogboeken en actieve processen. Bij multicanalimplementaties voegen mediaframeworks en video-encoding (H.264 / H.265-opname) aanzienlijke extra geheugenbelasting toe. Het inschakelen van multikanaal-encoding en -opname veroorzaakt een sterke verdere toename van de geheugenbelasting.

Belangrijke opmerking: Dit verwijst naar werkgeheugen (DDR RAM), niet naar eMMC-opslag. eMMC slaat alleen gecodeerde videobestanden op.

5.Toepassing -Laagbedrijfsgeheugen Toepassingslogica, inclusief het parseren van inferentieresultaten, meervoudig objectvolgen, gegevensrapportage, lokaal cachen en opslag van momentopnamen, gebruikt geheugen. Bijvoorbeeld: volg-algoritmes slaan doelgegevens uit meerdere beeldframes op. Meer camera’s en meer gevolgde objecten genereren grotere gegevensverzamelingen en een hoger toepassingsniveau van geheugengebruik.

Praktische geheugenprestaties op het RK3576-platform

De RK3576 is een veelgebruikte, binnenlandse edge-AI-processor met een NPU-prestatie van 6 TOPS, zeer geschikt voor AI-visiontoepassingen met meerdere camera’s. Ons bedrijf heeft diverse volwassen massaproducten die 1 tot 6 camerakanalen ondersteunen, om aan uiteenlopende projectvereisten te voldoen. 4 GB DDR is de standaard configuratie voor massaproductie, terwijl alternatieve DDR-grootten beschikbaar zijn voor verschillende werkbelastingen.

De onderstaande tabel is van toepassing op gangbare 1080p–4K-camera-sensoren op de markt:

Als u onzeker bent over de juiste geheugenconfiguratie, neem dan contact op met [email protected]. Wij verstrekken een afgestemde oplossingsbeoordeling op basis van uw camera-aantal, resolutie, zakelijke logica en runtime-werklast.