×
Banyak perangkat tertanam, termasuk robot, kamera pintar, dan terminal visi industri, kini menggunakan NPU untuk menjalankan algoritma visi AI. NPU adalah unit perangkat keras di dalam sebuah chip yang dikhususkan untuk inferensi AI.
Saat memilih chip, banyak tim pertama-tama melihat peringkat NPU TOPS-nya dan berasumsi bahwa angka yang lebih tinggi berarti chip yang lebih bertenaga. Dalam praktiknya, pengembangan produk menghadapi dua masalah umum:
Pertama, kapasitas komputasi tidak mencukupi. Perangkat berjalan pada kecepatan frame rendah, video tersendat, frame hilang saat beberapa kamera beroperasi secara bersamaan, dan pengenalan AI dapat gagal.
Yang kedua adalah kapasitas berlebih. Chip tersebut mahal, mengonsumsi lebih banyak daya, dan menghasilkan panas yang cukup besar. Kapasitas komputasi yang tidak terpakai mengurangi margin keuntungan.
Pertimbangan teknik utama adalah bahwa, dalam banyak proyek visi tertanam, kinerja dibatasi oleh transfer gambar, bandwidth memori, atau pemrosesan hilir berbasis CPU, bukan oleh kapasitas komputasi NPU.
Perencanaan komputasi tidak memerlukan daftar panjang istilah teknis. Membedakan dua konsep kunci membantu mencegah spesifikasi chip menjadi menyesatkan.
Angka TOPS yang diiklankan oleh vendor chip adalah kinerja komputasi puncak teoretis: kemampuan pemrosesan maksimum yang dapat dicapai NPU pada beban penuh dalam kondisi laboratorium ideal. Desain produk membutuhkan ruang gerak tambahan, sehingga kinerja puncak tidak dapat digunakan secara langsung untuk penentuan ukuran.
Kami menggunakan GMAC untuk menilai beban kerja komputasi dari sebuah model AI. MAC adalah operasi perkalian-penjumlahan dasar, dan GMAC mewakili satu miliar operasi tersebut. Ini mengukur jumlah komputasi dalam sebuah model. Perlu dicatat bahwa GMAC mengukur beban kerja, sedangkan GMAC/s mengukur throughput. Model yang lebih besar memiliki nilai GMAC yang lebih tinggi.
Pemanfaatan NPU bukanlah konstanta tetap. Ini mewakili proporsi kapasitas NPU yang digunakan untuk komputasi yang efektif. Untuk jaringan konvolusional sederhana, seperti front end VIO atau model deteksi ringan, operator sederhana dan optimasi chip yang menyeluruh dapat menghasilkan pemanfaatan sebesar 60%–80%. Model yang mengandung transformasi kompleks atau blok Transformer mungkin memerlukan eksekusi berulang secara bertahap, mengurangi pemanfaatan menjadi 20% atau bahkan kurang.
Penerapan tingkat pemanfaatan tetap sebesar 40% merupakan penyebab utama perkiraan yang tidak akurat. Resolusi juga secara langsung memengaruhi beban kerja: menggandakan lebar dan tinggi gambar masukan akan melipatgandakan luasnya empat kali lipat dan kira-kira melipatgandakan komputasi untuk model yang sama.
TOPS hanyalah batas kemampuan perangkat keras. Mulailah menghitung estimasi dengan beban kerja GMAC model, dan kalibrasikan terhadap pengukuran pada papan pengembangan. Jangan memilih chip hanya berdasarkan kinerja puncak teoretisnya.
Sebelum memperkirakan kebutuhan komputasi, petakan beban kerja produk. Perbedaan pentingnya adalah apakah beberapa kamera menggunakan inferensi paralel atau inferensi bergantian berdasarkan waktu, karena hal ini menentukan bagaimana kebutuhan komputasi mereka digabungkan.
Mode paralel: Semua kamera menjalankan inferensi AI secara bersamaan, sehingga kebutuhan komputasinya dijumlahkan secara langsung. Misalnya, perangkat keamanan dengan empat kamera yang melakukan deteksi objek secara real-time pada 30 frame per detik di setiap saluran menggabungkan beban keempat saluran tersebut.
Mode berbagi waktu: NPU adalah sumber daya perangkat keras bersama yang memproses gambar kamera secara berurutan, menangani satu saluran pada satu waktu saat saluran bergantian dalam antrian. Banyak implementasi visi multi-kamera pada platform Rockchip RK menggunakan pendekatan ini.
Kumpulkan informasi berikut saat menentukan beban kerja:
Resolusi dan kecepatan bingkai untuk setiap kamera.
Daftar model AI: model mana yang berjalan di NPU dan tugas pasca-pemrosesan mana yang berjalan di CPU.
Presisi kuantisasi: INT8 adalah pilihan utama untuk perangkat tertanam karena efisiensi inferensinya yang lebih tinggi.
Metode pemicuan: pemrosesan AI berkelanjutan pada setiap frame, atau operasi yang dipicu oleh peristiwa di mana algoritma kompleks hanya dimulai ketika kondisi pemicu terpenuhi.
Penting: Ekspor model GMAC menggunakan alat seperti RKNN atau ONNX Runtime daripada memperkirakannya berdasarkan pengalaman. Menggunakan beban kerja model YOLO yang besar untuk menentukan ukuran jaringan VIO yang ringan dapat sangat melebih-lebihkan kebutuhan komputasi.
MV11 kami adalah platform komputasi fusi visi dan navigasi inersia yang disinkronkan perangkat keras dengan empat kamera, berbasis prosesor Rockchip RK3576 berkinerja tinggi. Platform ini mencakup NPU 6 TOPS dan memori LPDDR4 4 GB, serta mendukung sinkronisasi tingkat mikrodetik di keempat kamera. Aplikasi yang sesuai meliputi pengenalan dan deteksi robot, VIO, SLAM, dan pengumpulan data EGO multi-kamera. Platform ini dapat berfungsi sebagai platform perangkat keras untuk pengujian komputasi tingkat papan, bandwidth, dan penjadwalan multi-saluran yang dijelaskan di atas. Sampel tersedia untuk evaluasi proyek awal, dan solusi visi lengkap dapat disesuaikan untuk mendukung penerapan. Hubungi kami di [email protected].
Banyak proyek hanya fokus pada NPU TOPS selama pemilihan, kemudian menemukan selama proses pengaktifan papan bahwa sistem tidak dapat mengimbangi meskipun lebih dari setengah kapasitas NPU masih tersedia. Kendala-kendala berikut adalah hambatan umum dalam visi tertanam.
Selama inferensi AI, NPU terus-menerus membaca gambar dan bobot model dari memori dan menulis kembali peta fitur perantara ke memori. Bandwidth DDR menentukan kecepatan transfer ini. Ketika bandwidth tidak mencukupi, bahkan NPU dengan kapasitas komputasi yang memadai pun harus menunggu data, sehingga mencegah peningkatan frame rate. Dalam sebagian besar proyek multi-kamera pada platform RK, bandwidth menjadi jenuh sementara hanya sebagian kecil kapasitas NPU yang digunakan.
Buffer gambar, bobot model AI, dan peta fitur perantara semuanya mengonsumsi memori. Penggunaan memori meningkat secara substansial ketika beberapa saluran beroperasi secara bersamaan. Memori yang tidak mencukupi dapat menyebabkan aplikasi macet. Perangkat tertanam umumnya tidak memiliki memori virtual, sehingga kondisi kehabisan memori (OOM) dapat menyebabkan perangkat berhenti.
Gambar mentah yang diambil oleh kamera memerlukan pemangkasan, penskalaan, dan konversi ruang warna. Beberapa pra-pemrosesan dilakukan oleh perangkat keras ISP, sementara sebagian lainnya menggunakan sumber daya CPU. Akuisisi multi-kamera meningkatkan kebutuhan pra-pemrosesan dan dapat menimbulkan latensi di seluruh alur kerja bahkan ketika NPU sedang tidak aktif.
Nilai TOPS puncak yang diiklankan pada sebuah chip sesuai dengan konsumsi daya puncak. Sebagian besar perangkat tertanam tidak memiliki kipas dan tidak dapat mempertahankan beban NPU penuh dalam jangka waktu lama. Bahkan ketika kapasitas komputasi teoretis tinggi, kondisi termal membatasi kapasitas yang tersedia untuk pengoperasian berkelanjutan.
Jika model AI berisi operator khusus yang tidak dapat dipercepat oleh NPU, maka eksekusi akan dilakukan melalui CPU. Pemrosesan AI pada CPU lambat dan dapat sangat menghambat alur kerja bahkan ketika kapasitas NPU mencukupi. Verifikasi dukungan akselerasi operator sebelum memilih platform.
1. Tetapkan dasar beban kerja dan mode operasi. Definisikan alur kerja AI: resolusi, kecepatan bingkai, jumlah saluran, strategi pemicu (berkelanjutan atau berbasis peristiwa), eksekusi paralel atau berbagi waktu, daftar model, dan presisi penerapan. Berikan perhatian khusus pada bagaimana beberapa saluran dijadwalkan.
2. Kuantifikasi beban kerja model dan ekspor GMAC/s. Gunakan alat untuk mengekspor GMAC/s untuk setiap model, pisahkan komputasi yang dipercepat NPU dari pemrosesan pasca-CPU.
3. Ukur pada papan target untuk menentukan efisiensi eksekusi. Konversikan model ke format platform pada SoC kandidat seperti RK3576 atau RK3588. Ukur waktu inferensi per frame untuk menentukan throughput aktual model tersebut pada NPU tersebut. Ini adalah langkah terpenting untuk menghilangkan perbedaan dalam perkiraan di atas kertas: semua perkiraan harus dikalibrasi terhadap pengukuran tingkat papan, bukan rumus umum.
4. Gabungkan beban kerja multi-saluran dan nilai hambatan sistem. Evaluasi operasi kondisi stabil normal dan puncak terburuk ketika semua saluran terpicu secara bersamaan. Periksa bandwidth DDR dan penggunaan memori pada saat yang sama. Banyak proyek multi-kamera RK menghabiskan bandwidth sementara kapasitas komputasi tetap tersedia.
5. Sisihkan cadangan yang sesuai dan tetapkan batasan. Gunakan margin 1,1–1,2 untuk produk jangka pendek dengan algoritma yang sebagian besar tetap, dan 1,3–1,4 untuk produk yang diharapkan menerima pembaruan model. Cadangan harus mencakup evolusi model, skenario puncak, dan biaya overhead penjadwalan, bukan penyediaan berlebih secara sembarangan. Tetapkan biaya BOM dan batasan daya secara bersamaan.
6.1 Hanya Menggunakan Chip TOPS dan Tingkat Pemanfaatan Tetap
Menerapkan tingkat pemanfaatan tetap sebesar 40% pada TOPS yang diiklankan dapat melebih-lebihkan kebutuhan komputasi beberapa kali lipat dan menyimpang secara signifikan dari kondisi rekayasa sebenarnya. Pemanfaatan sangat bervariasi di berbagai model dan arsitektur NPU.
6.2 Mengalikan dengan Jumlah Saluran dan Mengabaikan Pembagian Waktu
Dalam operasi berbagi waktu (time-shared operation), NPU memproses saluran secara bergantian dan kapasitas komputasinya digunakan kembali. Hanya dengan mengalikan jumlah saluran dengan kebutuhan komputasi per saluran dapat melebih-lebihkan kebutuhan secara signifikan, sehingga menghasilkan chip yang terlalu bertenaga dan mahal secara tidak perlu.
6.3 Menilai Komputasi NPU tetapi Mengabaikan Bandwidth DDR
Hambatan bandwidth jauh lebih umum daripada hambatan komputasi dalam proyek visi multi-kamera. NPU mungkin masih memiliki kapasitas yang cukup besar, tetapi transfer data tidak dapat mengimbangi, sehingga membatasi laju bingkai. Bandwidth harus dinilai terlebih dahulu dalam proyek multi-kamera.
6.4 Mempertimbangkan Beban Rata-Rata tetapi Mengabaikan Puncak Transien
Suatu produk mungkin beroperasi pada beban rendah sebagian besar waktu tetapi mengalami lonjakan sementara ketika semua kamera memicu AI secara bersamaan. Desain harus mengakomodasi lonjakan ini, tetapi antrian tugas dapat memperlancar permintaan sementara, sehingga chip tidak perlu dirancang langsung sesuai dengan permintaan komputasi puncak.
6.5 Perhitungan Model Hanya Menghitung dan Mengabaikan Overhead Sistem
Banyak perkiraan hanya menghitung GMAC (Generalized Mass Activity Catalytic Converter) dari arsitektur AI dan mengabaikan pra-pemrosesan ISP (Internet Service Provider), penyalinan gambar, dan pasca-pemrosesan CPU. Bahkan dengan kapasitas NPU (National Processing Unit) yang memadai, overhead ini meningkatkan latensi ujung-ke-ujung dan mencegah tercapainya kecepatan frame yang diharapkan.
Cantumkan semua parameter kamera: resolusi, kecepatan bingkai (frame rate), dan jumlah saluran. Konfirmasikan apakah saluran menggunakan penjadwalan paralel atau berbagi waktu (time-shared).
Ekspor GMAC untuk setiap model dan bedakan komputasi NPU dari pemrosesan pasca-CPU.
Ukur waktu inferensi model tunggal pada platform kandidat untuk menetapkan efisiensi eksekusi aktual.
Menggabungkan beban kerja multi-saluran dan menilai pemanfaatan komputasi NPU dalam kondisi stabil dan puncak.
Ukur bandwidth DDR dan penggunaan memori untuk menentukan apakah bandwidth merupakan hambatan utama.
Validasi operator model dan konfirmasikan dukungan akselerasi perangkat keras NPU untuk menghindari penggunaan CPU secara tidak efektif.
Cadangkan kapasitas komputasi sesuai dengan peta jalan pembaruan produk dan tetapkan batasan biaya dan daya BOM (Bill of Materials).
Jalankan uji stres ekstensif dengan pemicu multi-saluran simultan. Periksa variasi frame rate dan kerusakan yang disebabkan oleh kehabisan memori.
Penentuan kapasitas NPU untuk visi tertanam bukanlah latihan matematika sederhana dengan menerapkan rumus TOPS. Perkiraan di atas kertas hanya memberikan referensi perencanaan awal. Validasi akhir harus dilakukan pada papan pengembangan chip target.
Penilaian lengkap mengikuti urutan ini: tentukan apakah komputasi merupakan hambatan → konfirmasikan penjadwalan paralel atau berbagi waktu → ukur GMAC model → prioritaskan penilaian bandwidth DDR → kalibrasi melalui pengujian tingkat papan → cadangkan ruang komputasi yang sesuai.
Tujuannya adalah untuk menyeimbangkan kinerja, konsumsi daya, dan biaya. Pilih kapasitas yang cukup untuk tugas tersebut daripada mengejar puncak NPU TOPS yang semakin tinggi.
MV11 kami adalah platform komputasi fusi visi dan navigasi inersia yang disinkronkan perangkat keras dengan empat kamera, berbasis prosesor Rockchip RK3576 berkinerja tinggi. Platform ini mencakup NPU 6 TOPS dan memori LPDDR4 4 GB, serta mendukung sinkronisasi tingkat mikrodetik di keempat kamera. Aplikasi yang sesuai meliputi pengenalan dan deteksi robot, VIO, SLAM, dan pengumpulan data EGO multi-kamera. Platform ini dapat berfungsi sebagai platform perangkat keras untuk pengujian komputasi tingkat papan, bandwidth, dan penjadwalan multi-saluran yang dijelaskan di atas. Sampel tersedia untuk evaluasi proyek awal, dan solusi visi lengkap dapat disesuaikan untuk mendukung penerapan. Hubungi kami di [email protected].
Berita Terkini2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
