Quanta memoria DDR richiede un sistema di visione artificiale con più telecamere? (Con tabella di selezione RK3576)

Con il rapido progresso delle applicazioni di visione artificiale, le soluzioni con più telecamere (stereo, quad-camera e persino canali con un numero superiore di telecamere) sono state ampiamente adottate in scenari quali l’acquisizione dati, la videosorveglianza, l’ispezione industriale, la percezione robotica e l’edge computing. Molti progetti cadono in una trappola comune durante la selezione dell’hardware: concentrarsi esclusivamente sulla potenza computazionale del chip, trascurando invece la configurazione della memoria. Ciò porta infine a problemi come perdita di fotogrammi, inferenza AI lenta e arresti anomali del sistema.

Una memoria DDR più capiente è sempre meglio? Sì, dal punto di vista delle prestazioni e della stabilità. Tuttavia, lo svantaggio è evidente: impatta pesantemente sul budget, specialmente considerando l’improvviso aumento dei prezzi della DDR negli ultimi tempi. Trovare un equilibrio tra costo e effettive esigenze del progetto diventa quindi fondamentale nella scelta della soluzione.

Analizziamo ora l’errore più comune nella scelta della capacità di DDR: l'utilizzo della memoria può apparire basso in condizioni normali, ma può impennarsi fino a valori massimi durante picchi di attività concorrenti, causando direttamente il crash del sistema. Molte squadre utilizzano il consumo medio di memoria per la valutazione dell'hardware. Prendiamo ad esempio il sensore AR0234, ampiamente diffuso: una singola telecamera 1080P consuma una quantità modesta di memoria in modalità di attesa inattiva. Tuttavia, quando viene eseguita l'intera catena operativa — acquisizione, elaborazione ISP, inferenza AI e codifica — il picco di memoria può raggiungere decine di MB per canale. Per una telecamera 4K, il picco per canale può superare i 100 MB. Anche una normale richiesta HTTP consuma diversi MB per connessione. Questi singoli sovraccarichi sembrano trascurabili, ma si accumulano rapidamente non appena vengono attivate simultaneamente più telecamere e più attività. Ciò può innescare un errore OOM (Out-of-Memory), con conseguente terminazione forzata di processi e malfunzionamento del sistema.

Dove viene consumata la memoria nei sistemi di visione artificiale multi-telecamera?

La memoria sui dispositivi di visione edge non è utilizzata esclusivamente dai modelli di intelligenza artificiale. È condivisa tra acquisizione immagini, pre-elaborazione, inferenza AI, servizi di sistema e carichi di lavoro applicativi. L’overhead della memoria aumenta con ogni ulteriore canale video.

1. Buffer immagine (la principale fonte di overhead) Le immagini grezze, i frame YUV e i frame ridimensionati prodotti da ciascuna telecamera consumano memoria. Per un sensore AR0234 in funzione a 1080P@30fps, un singolo frame YUV occupa diversi MB. Per evitare perdite di frame, il sistema mantiene buffer ad anello multi-frame, incrementando ulteriormente l’impronta di memoria. La generazione di più varianti di immagine (originale, miniatura, frame ritagliati) crea ulteriori buffer frame. L’uso di memoria si moltiplica quando più telecamere trasmettono in contemporanea.

2. Overhead dell’ISP e della pre-elaborazione immagini L'ISP è un acceleratore hardware indipendente che esegue riduzione del rumore, correzione del colore, correzione della distorsione, rotazione, ritaglio e conversione del formato. L'ISP dispone soltanto di una cache integrata limitata, senza memoria frame ad alta capacità. Di conseguenza, per molte operazioni è necessario allocare buffer temporanei nella DDR. Un numero maggiore di canali video comporta carichi di lavoro più gravosi per l'ISP e richieste più elevate di capacità DDR.

3. Memoria per l'inferenza del modello AI L'inferenza AI consuma memoria in due parti. La prima riguarda i pesi del modello: parametri del modello più grandi comportano un consumo di memoria superiore. Fortunatamente, i pesi vengono caricati una sola volta all'inizializzazione del modello; l'occupazione di memoria da parte dei pesi non aumenta con un numero maggiore di canali video o di scenari durante l'esecuzione.

La memoria non viene affatto influenzata durante la fase di esecuzione dell’inferenza? Per niente. Ciò ci porta al secondo componente: i buffer delle caratteristiche intermedie generati durante l’inferenza. Ogni canale della telecamera richiede il proprio buffer di calcolo, aumentando così il consumo totale di memoria. L’esecuzione sincronizzata dell’intelligenza artificiale su più telecamere richiede diversi buffer di calcolo indipendenti. Di conseguenza, un numero maggiore di canali comporta un sovraccarico di memoria più elevato per i buffer di inferenza.

4. Sovraccarico del sistema, del driver e del middleware Prendiamo come esempio la nostra soluzione visione RK3576. La memoria di sistema di base è utilizzata dal kernel Linux, dai driver multimediali RK, dal framework multimediale RKMPP, dai driver NPU, dai log di sistema e dai processi in esecuzione. Nei sistemi con più telecamere, i framework multimediali e la codifica video (registrazione H.264 / H.265) aggiungono un carico di memoria considerevole. L’attivazione della codifica e della registrazione su più canali provoca un ulteriore aumento significativo della pressione sulla memoria.

Nota importante: questo si riferisce alla memoria operativa (DDR RAM), non allo storage eMMC. L’eMMC memorizza esclusivamente i file video codificati.

5.Applicazione - Memoria aziendale a strati La logica applicativa, inclusa l'analisi dei risultati dell'inferenza, il tracciamento multi-oggetto, la segnalazione dati, la memorizzazione locale nella cache e la conservazione di istantanee, richiede memoria. Ad esempio, gli algoritmi di tracciamento memorizzano dati relativi ai bersagli su più fotogrammi. Un numero maggiore di telecamere e di oggetti tracciati genera set di dati più estesi e un maggiore consumo di memoria a livello applicativo.

Prestazioni pratiche della memoria sulla piattaforma RK3576

RK3576 è un processore AI edge domestico di fascia media, in grado di erogare 6 TOPS di prestazioni NPU, particolarmente adatto a implementazioni di visione artificiale con più telecamere. La nostra azienda offre diversi prodotti maturi per la produzione di massa, supportanti da 1 a 6 canali video per soddisfare le esigenze di progetti eterogenei. La configurazione standard per la produzione di massa prevede 4 GB di DDR; tuttavia, sono disponibili anche altre capacità di DDR per adattarsi a carichi di lavoro differenti.

La tabella seguente si applica ai comuni sensori per telecamera 1080p–4K presenti sul mercato:

Se non si è certi della configurazione di memoria più adatta, contattare [email protected]. Forniremo una valutazione personalizzata della soluzione in base al numero di canali della telecamera, alla risoluzione, alla logica aziendale e al carico di lavoro in esecuzione.