Berapa Banyak Memori DDR yang Diperlukan oleh Sistem Penglihatan AI Berkamera Majemuk? (Dengan Jadual Pilihan RK3576)

Dengan kemajuan pesat dalam aplikasi penglihatan AI, penyelesaian berkamera majmuk (stereo, berkamera empat, dan malah lebih banyak saluran kamera) telah diadopsi secara meluas dalam senario seperti pengumpulan data, pengawasan keselamatan, pemeriksaan industri, persepsi robot, dan komputasi tepi. Ramai projek terjebak dalam jebakan biasa semasa pemilihan perkakasan: memfokuskan hanya pada kuasa pengiraan cip sambil mengabaikan konfigurasi memori. Keadaan ini akhirnya menyebabkan isu seperti kehilangan bingkai, inferens AI yang perlahan, dan kegagalan sistem.

Adakah memori DDR yang lebih besar sentiasa lebih baik? Ya, dari sudut pandangan prestasi dan kestabilan. Namun, kelemahannya jelas — memberatkan dompet, terutamanya memandangkan kenaikan harga DDR baru-baru ini. Menyeimbangkan kos dengan keperluan sebenar projek menjadi kritikal dalam pemilihan penyelesaian.

Mari kita lihat jebakan paling biasa dalam penentuan saiz DDR: penggunaan memori mungkin kelihatan rendah dalam keadaan biasa, tetapi ia boleh melonjak ke nilai maksimum semasa ledakan tugas serentak, yang secara langsung mencetuskan kegagalan sistem. Ramai pasukan menggunakan purata penggunaan memori untuk penilaian perkakasan. Ambil contoh sensor AR0234 yang banyak digunakan: satu kamera 1080P mengguna tenaga memori yang sederhana semasa siaga tidak aktif. Walaupun begitu, apabila menjalankan saluran penuh tangkapan-ISP-inferens AI-penyandian, penggunaan memori maksimumnya boleh mencapai puluhan MB setiap saluran. Bagi kamera 4K, penggunaan maksimum setiap saluran mungkin melebihi 100 MB. Malah permintaan HTTP biasa pun mengguna beberapa MB setiap sambungan. Beban tambahan individu ini kelihatan kecil, tetapi ia bertambah dengan cepat apabila pelbagai kamera dan tugas diaktifkan serentak. Ini mungkin mencetuskan OOM (Out-of-Memory), yang mengakibatkan proses dibunuh dan kegagalan sistem.

Di Mana Memori Digunakan dalam Sistem Penglihatan AI Berbilang Kamera?

Memori pada peranti penglihatan tepi tidak digunakan secara eksklusif oleh model AI. Ia dikongsi antara penangkapan imej, pra-pemprosesan, inferens AI, perkhidmatan sistem dan beban kerja aplikasi. Overhed memori meningkat dengan setiap saluran kamera tambahan.

1. Penimbal Imej (Sumber Overhed Terbesar) Imej mentah, bingkai YUV dan bingkai berskala yang dihasilkan oleh setiap kamera mengguna pakai memori. Bagi AR0234 yang beroperasi pada 1080P@30fps, satu bingkai YUV tunggal mengambil beberapa MB. Untuk mengelakkan kehilangan bingkai, sistem mengekalkan penimbal cincin berbilang bingkai, yang seterusnya meningkatkan jejak memori. Penjanaan pelbagai varian imej (asal, imej kecil, bingkai terpotong) mencipta penimbal bingkai tambahan. Penggunaan memori bertambah ganda apabila berbilang kamera menghantar aliran serentak.

2. Overhed ISP dan Pra-Pemprosesan Imej ISP ialah pemecut perkakasan bebas yang menjalankan pengurangan hingar, pembetulan warna, pembetulan distorsi, putaran, pemotongan dan penukaran format. ISP hanya mengandungi cache on-chip terhad yang tanpa storan bingkai berkapasiti besar. Justeru itu, penimbal sementara mesti dialokasikan dalam DDR bagi banyak operasi. Lebih banyak saluran kamera bermaksud beban kerja ISP yang lebih berat dan keperluan kapasiti DDR yang lebih tinggi.

3. Memori untuk Inferens Model AI Inferens AI menggunakan memori dalam dua bahagian. Pertama ialah berat model: parameter model yang lebih besar menghasilkan penggunaan memori yang lebih tinggi. Nasib baik, berat dimuatkan sekali sahaja semasa inisialisasi model; jejak memori mereka tidak meningkat dengan lebih banyak saluran kamera atau senario semasa operasi.

Adakah ingatan tidak terjejas semasa fasa pelaksanaan kesimpulan? Tidak, tidak. Ini membawa kita kepada komponen kedua: penyangga ciri perantaraan yang dihasilkan semasa kesimpulan. Setiap saluran kamera memerlukan penyangga pengiraan sendiri, meningkatkan penggunaan memori keseluruhan. Kesimpulan AI yang diselaraskan di pelbagai kamera memerlukan banyak penyangga pengiraan bebas. Oleh itu, lebih banyak saluran sama dengan overhead memori yang lebih tinggi untuk penyangga kesimpulan.

4.Sistem, Pemandu dan Peranti Perantaraan Ambil contoh penyelesaian penglihatan RK3576. Memori sistem asas digunakan oleh kernel Linux, pemacu media RK, kerangka media RKMPP, pemacu NPU, log sistem dan proses yang berjalan. Dalam penggunaan pelbagai kamera, kerangka media dan pengekodan video (pengekodan H.264 / H.265) menambah beban memori yang besar. Membolehkan pengekodan dan rakaman pelbagai saluran menyebabkan peningkatan tekanan memori yang lebih tajam.

Nota penting: Ini merujuk kepada memori kerja (DDR RAM), bukan penyimpanan eMMC. eMMC hanya menyimpan fail video yang dikodkan.

5.Permohonan -Lapisan Memori Perniagaan Logik aplikasi termasuk penghuraian hasil inferens, penjejakkan objek pelbagai, pelaporan data, penyimpanan cache tempatan dan penyimpanan gambar seketika menggunakan memori. Sebagai contoh, algoritma penjejakkan menyimpan data sasaran berbilang bingkai. Semakin banyak kamera dan objek yang dijejak, semakin besar set data yang dihasilkan dan semakin tinggi penggunaan memori pada tahap aplikasi.

Prestasi Memori Praktikal pada Platform RK3576

RK3576 ialah pemproses AI tepi domestik utama yang memberikan prestasi NPU sebanyak 6 TOPS, sangat sesuai untuk pelaksanaan penglihatan AI berbilang kamera. Syarikat kami mempunyai beberapa produk pengeluaran pukal yang matang menyokong 1 hingga 6 saluran kamera untuk memenuhi keperluan pelbagai projek. 4 GB DDR merupakan konfigurasi pengeluaran pukal utama, manakala saiz DDR alternatif disokong untuk beban kerja yang berbeza.

Jadual di bawah ini berlaku untuk sensor kamera 1080p–4K biasa di pasaran:

Jika anda tidak pasti mengenai konfigurasi memori yang sesuai, sila hubungi [email protected]. Kami akan memberikan penilaian penyelesaian tersuai berdasarkan bilangan saluran kamera anda, resolusi, logik perniagaan dan beban kerja masa jalan.