Hvor meget DDR-hukommelse kræver et AI-baseret multikamera-visionssystem? (Med RK3576-valgtabel)

Med den hurtige udvikling inden for AI-baserede visionsløsninger er multikamera-løsninger (stereokameraer, firkameraer og endnu flere kamerakanaler) bredt anvendt i scenarier som dataindsamling, sikkerhedsovervågning, industriinspektion, robotperception og edge-computing. Mange projekter falder i en almindelig fælde under valg af hardware: at fokusere udelukkende på chips beregningskraft og overse hukommelseskonfigurationen. Dette fører til problemer som billeddrabsfejl, forsinket AI-inferens og systemkrasch.

Er større DDR-hukommelse altid bedre? Ja, set ud fra ydeevne og stabilitet. Ulempen er dog tydelig – det belaster tegnebogen, især med den seneste stigning i DDR-priserne. At afveje omkostningerne mod de faktiske projektbehov bliver derfor afgørende ved valg af løsning.

Lad os se på den mest almindelige fælde ved dimensionering af DDR-hukommelse: hukommelsesforbruget kan synes lavt under normale forhold, men det kan stige til maksimale værdier under korte perioder med samtidige opgaver, hvilket direkte udløser systemkrasch. Mange teams bruger gennemsnitligt hukommelsesforbrug til hardwareevaluering. Tag f.eks. den bredt anvendte AR0234-sensor: En enkelt 1080P-kamera bruger beskedent hukommelse i inaktiv standby. Når hele pipeline’en – optagelse, ISP, AI-inferens og kodning – dog kører, kan dens maksimale hukommelsesforbrug nå flere tiere MB pr. kanal. For et 4K-kamera kan det maksimale forbrug pr. kanal overstige 100 MB. Selv en almindelig HTTP-anmodning bruger flere MB pr. forbindelse. Disse enkelte belastninger virker ubetydelige, men de akkumuleres hurtigt, så snart flere kameraer og opgaver aktiveres samtidigt. Dette kan udløse OOM (Out-of-Memory), hvilket resulterer i dræbte processer og systemfejl.

Hvor bliver hukommelsen brugt i multikamera-AI-visionssystemer?

Hukommelse på edge-vision-enheder bruges ikke udelukkende af AI-modeller. Den deles mellem billedoptagelse, forudbehandling, AI-inferens, systemtjenester og applikationsarbejdsbelastninger. Hukommelsesoverhead stiger med hver ekstra kamerakanal.

1. Billedbuffere (største kilde til overhead) Råbilleder, YUV-rammer og skalerede rammer fra hver kameraforbruger hukommelse. For en AR0234-kamera, der kører ved 1080P@30fps, optager én enkelt YUV-ramme flere MB. For at undgå rammedrab opretholder systemet multiramme-ringbuffere, hvilket yderligere øger hukommelsesforbruget. Generering af flere billedvarianter (original, miniature, beskårne rammer) skaber yderligere rammebuffere. Hukommelsesforbruget stiger proportionalt, når flere kameraer streamer samtidigt.

2. ISP- og billedforudbehandlings-overhead ISP'en er en uafhængig hardwareaccelerator, der udfører støjreduktion, farvekorrektion, forvrængningskorrektion, rotation, beskæring og formatkonvertering. ISP'en indeholder kun en begrænset on-chip-cache uden lagerplads til store billeder. Derfor skal midlertidige buffere allokeres i DDR for mange operationer. Flere kamerakanaler betyder større arbejdsbyrde for ISP'en og højere krav til DDR-kapaciteten.

3. Hukommelse til AI-modelinferens AI-inferens bruger hukommelse på to måder. Først er der modelvægtene: Større modelparametre resulterer i højere hukommelsesforbrug. Heldigvis indlæses vægtene én gang ved modelinitialisering; deres hukommelsesforbrug vokser ikke med flere kamerakanaler eller scenarier under kørsel.

Er hukommelsen ikke påvirket under inferens-runtime-fasen? - Nej, slet ikke. Dette bringer os til den anden komponent: mellemliggende trækbuffere genereret under inferensen. Hver kamera kanal kræver sin egen beregning buffer, hæve den samlede hukommelse brug. Synkroniseret AI-afledning på tværs af flere kameraer kræver flere uafhængige beregningsbuffere. Derfor svarer flere kanaler til højere hukommelseskostnader for inferencebuffere.

4.System-, driver- og mellemudstyrsoverhead Tag vores RK3576 vision løsning som eksempel. Base system hukommelse forbruges af Linux-kernen, RK-medietryvere, RKMPP-medierramme, NPU-drivere, systemlogs og køreprocesser. I multi-kamera implementeringer tilføjer medierammer og video kodning (H.264/H.265-optagelse) betydelig hukommelsesbelastning. Hvis man aktiverer flerkanalskodning og -optagelse, øges hukommelsens tryk yderligere kraftigt.

Vigtig note: Dette henviser til arbejdshukommelsen (DDR RAM), ikke eMMC-lagring. eMMC gemmer kun kodede videofiler.

5.Anvendelse - Lag Business Memory Applikationslogik, herunder fortolkning af inferenceresultater, sporing af flere objekter, datarapportering, lokal cachelagring og lagring af øjebliksbilleder, forbruger hukommelse. For eksempel gemmer sporalgoritmer mål-data fra flere billeder. Flere kameraer og flere sporede objekter genererer større datasæt og øger applikationsniveauets hukommelsesforbrug.

Praktisk hukommelsesydelse på RK3576-platformen

RK3576 er en almindelig, indenlandsk edge-AI-procesor med 6 TOPS NPU-ydelse, der er velegnet til AI-baserede visionssystemer med flere kameraer. Vores virksomhed har flere modne, i masseproduktion stillede produkter, der understøtter 1–6 kamerakanaler for at imødegå forskellige projektkrav. 4 GB DDR er den almindelige konfiguration i masseproduktion, mens alternative DDR-størrelser understøttes til varierende arbejdsbelastninger.

Nedenstående tabel gælder for almindelige 1080p–4K-kamerasensorer på markedet:

Hvis du er usikker på den passende hukommelseskonfiguration, kontakt venligst [email protected]. Vi vil levere en skræddersyet løsningsvurdering baseret på dit antal kamera-kanaler, opløsning, forretningslogik og køretidsbelastning.