Berapa Banyak Memori DDR yang Dibutuhkan oleh Sistem Visi AI Multi-Kamera? (Dengan Tabel Pemilihan RK3576)

Dengan pesatnya kemajuan aplikasi visi AI, solusi multi-kamera (stereo, quad-camera, dan bahkan lebih banyak saluran kamera) telah banyak diadopsi dalam berbagai skenario seperti akuisisi data, pengawasan keamanan, inspeksi industri, persepsi robot, serta komputasi edge. Banyak proyek jatuh ke dalam jebakan umum selama pemilihan perangkat keras: terlalu fokus hanya pada daya komputasi chip, namun mengabaikan konfigurasi memori. Hal ini akhirnya menyebabkan masalah seperti kehilangan frame, inferensi AI yang lambat, dan kegagalan sistem.

Apakah memori DDR yang lebih besar selalu lebih baik? Ya, dari sudut pandang kinerja dan stabilitas. Namun, kekurangannya jelas—memberatkan anggaran, terutama mengingat kenaikan harga DDR baru-baru ini. Menyeimbangkan biaya dengan kebutuhan aktual proyek menjadi sangat penting dalam proses pemilihan solusi.

Mari kita bahas jebakan paling umum dalam penentuan ukuran DDR: penggunaan memori mungkin tampak rendah dalam kondisi normal, namun dapat melonjak ke nilai puncak selama ledakan tugas bersamaan, yang secara langsung memicu kegagalan sistem. Banyak tim menggunakan konsumsi memori rata-rata untuk evaluasi perangkat keras. Ambil contoh sensor AR0234 yang banyak digunakan: satu kamera 1080P mengonsumsi memori yang moderat saat siaga tanpa aktivitas. Namun, ketika menjalankan saluran penuh—penangkapan, ISP, inferensi AI, dan pengkodean—memori puncaknya dapat mencapai puluhan MB per saluran. Untuk kamera 4K, penggunaan puncak per saluran bahkan dapat melebihi 100 MB. Bahkan permintaan HTTP biasa pun mengonsumsi beberapa MB per koneksi. Beban tambahan individual ini tampak kecil, tetapi jumlahnya meningkat sangat cepat begitu beberapa kamera dan tugas diaktifkan secara bersamaan. Hal ini dapat memicu OOM (Out-of-Memory), sehingga proses dihentikan paksa dan sistem gagal.

Di Mana Memori Dikonsumsi dalam Sistem Penglihatan AI Multi-Kamera?

Memori pada perangkat visi tepi tidak digunakan secara eksklusif oleh model AI. Memori tersebut dibagi bersama antara penangkapan gambar, pra-pemrosesan, inferensi AI, layanan sistem, dan beban kerja aplikasi. Overhead memori meningkat dengan setiap tambahan saluran kamera.

1. Buffer Gambar (Sumber Overhead Terbesar) Gambar mentah, frame YUV, dan frame berskala yang dihasilkan masing-masing kamera mengonsumsi memori. Untuk sensor AR0234 yang beroperasi pada resolusi 1080P@30fps, satu frame YUV tunggal menempati beberapa megabita. Untuk mencegah kehilangan frame, sistem mempertahankan buffer cincin multi-frame, yang semakin memperbesar jejak memori. Pembuatan beberapa varian gambar (asli, thumbnail, frame terpotong) menciptakan buffer frame tambahan. Penggunaan memori menjadi berlipat ketika beberapa kamera melakukan streaming secara bersamaan.

2. Overhead ISP dan Pra-Pemrosesan Gambar ISP adalah akselerator perangkat keras mandiri yang melakukan pengurangan derau, koreksi warna, koreksi distorsi, rotasi, pemotongan, dan konversi format. ISP hanya memiliki cache on-chip terbatas tanpa penyimpanan bingkai berkapasitas besar. Oleh karena itu, buffer sementara harus dialokasikan di DDR untuk banyak operasi. Semakin banyak saluran kamera, semakin berat beban kerja ISP dan semakin tinggi kebutuhan kapasitas DDR.

3. Memori untuk Inferensi Model AI Inferensi AI mengonsumsi memori dalam dua bagian. Pertama adalah bobot model: parameter model yang lebih besar menghasilkan konsumsi memori yang lebih tinggi. Untungnya, bobot dimuat sekali saat inisialisasi model; jejak memori mereka tidak meningkat dengan penambahan saluran kamera atau skenario selama runtime.

Apakah memori tidak terpengaruh selama fase waktu proses inferensi? Tidak sama sekali. Hal ini membawa kita ke komponen kedua: buffer fitur antara yang dihasilkan selama inferensi. Setiap saluran kamera memerlukan buffer komputasi tersendiri, sehingga meningkatkan penggunaan memori total. Inferensi AI yang disinkronkan di berbagai kamera menuntut beberapa buffer komputasi independen. Oleh karena itu, semakin banyak saluran, semakin tinggi beban memori untuk buffer inferensi.

4. Beban Sistem, Driver, dan Middleware Ambil solusi visi RK3576 kami sebagai contoh. Memori sistem dasar dikonsumsi oleh kernel Linux, driver media RK, kerangka kerja media RKMPP, driver NPU, log sistem, dan proses yang sedang berjalan. Dalam penerapan multi-kamera, kerangka kerja media dan pengkodean video (perekaman H.264 / H.265) menambah beban memori secara signifikan. Mengaktifkan pengkodean dan perekaman multi-saluran menyebabkan peningkatan tajam lebih lanjut dalam tekanan memori.

Catatan penting: Ini mengacu pada memori kerja (DDR RAM), bukan penyimpanan eMMC. eMMC hanya menyimpan berkas video terkompresi.

5.Penggunaan -Lapisan Bisnis Memori Logika aplikasi termasuk penguraian hasil inferensi, pelacakan multi-objek, pelaporan data, penyimpanan cache lokal, dan penyimpanan cuplikan memerlukan memori. Sebagai contoh, algoritma pelacakan menyimpan data target dari beberapa frame. Semakin banyak kamera dan objek yang dilacak, semakin besar kumpulan data yang dihasilkan serta semakin tinggi konsumsi memori di tingkat aplikasi.

Kinerja Memori Praktis pada Platform RK3576

RK3576 adalah prosesor AI tepi domestik utama dengan kinerja NPU sebesar 6 TOPS, sangat cocok untuk penerapan visi-AI multi-kamera. Perusahaan kami memiliki beberapa produk massal matang yang mendukung 1 hingga 6 saluran kamera guna memenuhi beragam kebutuhan proyek. Konfigurasi massal utama adalah DDR 4 GB, sementara ukuran DDR alternatif didukung untuk beban kerja yang berbeda-beda.

Tabel di bawah ini berlaku untuk sensor kamera umum beresolusi 1080p–4K di pasaran:

Jika Anda tidak yakin mengenai konfigurasi memori yang tepat, silakan hubungi [email protected]. Kami akan memberikan penilaian solusi khusus berdasarkan jumlah saluran kamera, resolusi, logika bisnis, dan beban kerja runtime Anda.