Cara Mengukur Kapasiti Pengiraan NPU untuk Produk Visi Terbenam

Oct 23, 2026

1. Memahami Masalah yang Diatasi oleh Perancangan Kapasiti NPU

Banyak peranti terbenam, termasuk robot, kamera pintar dan terminal penglihatan perindustrian, kini menggunakan NPU untuk menjalankan algoritma penglihatan AI. NPU ialah unit perkakasan dalam cip yang dikhaskan untuk inferens AI.

Apabila memilih cip, banyak pasukan terlebih dahulu melihat penarafan NPU TOPSnya dan menganggap bahawa nombor yang lebih tinggi bermaksud cip yang lebih berkuasa. Dalam praktiknya, pembangunan produk menghadapi dua masalah biasa:

Yang pertama ialah kapasiti pengkomputeran yang tidak mencukupi. Peranti berjalan pada kadar bingkai yang rendah, video tersekat-sekat, bingkai terputus apabila berbilang kamera beroperasi serentak, dan pengecaman AI boleh gagal.

Yang kedua ialah kapasiti yang berlebihan. Cip itu mahal, menggunakan lebih banyak kuasa dan menghasilkan haba yang banyak. Kapasiti pengkomputeran yang tidak digunakan mengurangkan margin keuntungan.

Pertimbangan kejuruteraan utama ialah, dalam banyak projek visi terbenam, prestasi dihadkan oleh pemindahan imej, lebar jalur memori atau pemprosesan hiliran berasaskan CPU dan bukannya kapasiti pengiraan NPU.

2. Konsep Asas dan Dua Metrik Teras

Perancangan pengiraan tidak memerlukan senarai panjang istilah teknikal. Membezakan dua konsep utama membantu mengelakkan spesifikasi cip daripada menjadi mengelirukan.

Angka TOPS yang diiklankan oleh vendor cip ialah prestasi pengiraan puncak teori: keupayaan pemprosesan maksimum yang boleh dicapai oleh NPU pada beban penuh di bawah keadaan makmal yang ideal. Reka bentuk produk memerlukan ruang kepala, jadi prestasi puncak tidak boleh digunakan secara langsung untuk saiz.

Kami menggunakan GMAC untuk menilai beban kerja pengiraan model AI. MAC ialah operasi asas darab-kumpul dan GMAC mewakili satu bilion operasi sedemikian. Ia mengukur jumlah pengiraan dalam model. Ambil perhatian bahawa GMAC mengukur beban kerja, manakala GMAC/s mengukur daya pemprosesan. Model yang lebih besar mempunyai nilai GMAC yang lebih tinggi.

Penggunaan NPU bukanlah pemalar tetap. Ia mewakili perkadaran kapasiti NPU yang digunakan untuk pengiraan yang berkesan. Untuk rangkaian konvolusi mudah, seperti hujung hadapan VIO atau model pengesanan ringan, operator mudah dan pengoptimuman cip yang teliti boleh menghasilkan penggunaan sebanyak 60%–80%. Model yang mengandungi transformasi kompleks atau blok Transformer mungkin memerlukan pelaksanaan berjubin berulang, mengurangkan penggunaan kepada 20% atau kurang lagi.

Penggunaan kadar penggunaan tetap sebanyak 40% merupakan punca utama anggaran yang tidak tepat. Resolusi juga memberi kesan langsung kepada beban kerja: menggandakan lebar dan tinggi imej input akan menggandakan kawasannya empat kali ganda dan kira-kira empat kali ganda pengiraan untuk model yang sama.

TOPS hanyalah siling perkakasan. Mulakan pengiraan anggaran dengan beban kerja GMAC model dan kalibrasikannya terhadap ukuran pada papan pembangunan. Jangan pilih cip semata-mata daripada prestasi puncak teorinya.

3. Takrifkan Aplikasi Keperluan dan Penjadualan Berbilang Kamera

Sebelum menganggarkan keperluan pengiraan, petakan beban kerja produk. Perbezaan penting ialah sama ada berbilang kamera menggunakan inferens selari atau inferens pusingan robin yang dikongsi masa, kerana ini menentukan bagaimana permintaan pengiraan mereka digabungkan.

Mod selari: Semua kamera menjalankan inferens AI pada masa yang sama, jadi keperluan pengiraannya ditambah secara langsung. Contohnya, peranti keselamatan dengan empat kamera yang melakukan pengesanan objek masa nyata pada 30 bingkai sesaat pada setiap saluran menggabungkan beban keempat-empat saluran.

Mod perkongsian masa: NPU ialah sumber perkakasan kongsi yang memproses imej kamera secara berurutan, mengendalikan satu saluran pada satu masa apabila saluran bergilir-gilir dalam barisan. Banyak pelaksanaan visi berbilang kamera pada platform Rockchip RK menggunakan pendekatan ini.

Kumpulkan maklumat berikut semasa menentukan beban kerja:

Resolusi dan kadar bingkai untuk setiap kamera.

Senarai model AI: model yang dijalankan pada NPU dan tugas pasca pemprosesan yang dijalankan pada CPU.

Ketepatan pengkuantuman: INT8 ialah pilihan arus perdana untuk peranti terbenam kerana kecekapan inferensnya yang lebih tinggi.

Kaedah pencetusan: pemprosesan AI berterusan pada setiap bingkai, atau operasi yang dicetuskan oleh peristiwa di mana algoritma kompleks hanya bermula apabila keadaan pencetus dipenuhi.

Penting: Eksport model GMAC menggunakan alatan seperti RKNN atau ONNX Runtime dan bukannya menganggarkannya daripada pengalaman. Menggunakan beban kerja model YOLO yang besar untuk mengukur rangkaian VIO yang ringan boleh melebih-lebihkan keperluan pengiraan.

7c16c807-85ec-4459-a9ec-ad09c2abf8a8.jpg.png

MV11 kami ialah platform pengkomputeran gabungan penglihatan dan navigasi inersia yang disegerakkan perkakasan empat kamera berdasarkan pemproses Rockchip RK3576 berprestasi tinggi. Ia merangkumi 6 TOPS NPU dan memori LPDDR4 4 GB dan menyokong penyegerakan peringkat mikrosaat merentasi empat kamera. Aplikasi yang sesuai termasuk pengecaman dan pengesanan robot, VIO, SLAM dan pengumpulan data EGO berbilang kamera. Ia boleh berfungsi sebagai platform perkakasan untuk pengiraan peringkat papan, lebar jalur dan ujian penjadualan berbilang saluran yang diterangkan di atas. Sampel tersedia untuk penilaian projek awal dan penyelesaian penglihatan lengkap boleh disesuaikan untuk menyokong penggunaan. Hubungi kami di [email protected].

4. Kekangan Yang Sering Mengehadkan Prestasi Sebelum Pengiraan NPU Berlaku

Banyak projek hanya tertumpu pada NPU TOPS semasa pemilihan, kemudian mendapati semasa pelancaran papan bahawa sistem tidak dapat bersaing walaupun lebih separuh kapasiti NPU masih tersedia. Kekangan berikut adalah kesesakan biasa dalam penglihatan terbenam.

4.1 Lebar Jalur Memori DDR

Semasa inferens AI, NPU membaca imej dan pemberat model secara berterusan daripada ingatan dan menulis peta ciri perantaraan kembali ke ingatan. Lebar jalur DDR menentukan kelajuan pemindahan ini. Apabila lebar jalur tidak mencukupi, NPU dengan kapasiti pengiraan yang mencukupi pun mesti menunggu data, sekali gus menghalang penambahbaikan kadar bingkai. Dalam kebanyakan projek berbilang kamera pada platform RK, lebar jalur menjadi tepu manakala hanya sebahagian kecil daripada kapasiti NPU digunakan.

4.2 Kapasiti Memori

Penimbal imej, pemberat model AI dan peta ciri perantaraan semuanya menggunakan memori. Penggunaan memori meningkat dengan ketara apabila berbilang saluran beroperasi secara serentak. Memori yang tidak mencukupi boleh menyebabkan aplikasi ranap. Peranti terbenam biasanya kekurangan memori maya, jadi keadaan kehabisan memori (OOM) boleh menyebabkan peranti berhenti berfungsi.

4.3 Pemprosesan Imej ISP

Imej mentah yang ditangkap oleh kamera memerlukan pemangkasan, penskalaan dan penukaran ruang warna. Sesetengah prapemprosesan dilakukan oleh perkakasan ISP, manakala sesetengahnya menggunakan sumber CPU. Pemerolehan berbilang kamera meningkatkan permintaan prapemprosesan dan boleh menyebabkan kependaman merentasi saluran walaupun NPU terbiar.

4.4 Penggunaan Kuasa dan Pengurusan Terma

TOPS puncak yang diiklankan bagi sesebuah cip sepadan dengan penggunaan kuasa puncak. Kebanyakan peranti terbenam tidak mempunyai kipas dan tidak dapat menampung beban NPU penuh dalam tempoh yang lama. Walaupun kapasiti pengiraan teori adalah tinggi, keadaan terma mengehadkan kapasiti yang tersedia untuk operasi yang berterusan.

4.5 Keserasian Pengendali

Jika model AI mengandungi operator khas yang tidak dapat dipecutkan oleh NPU, mereka akan kembali kepada pelaksanaan CPU. Pemprosesan AI pada CPU adalah perlahan dan boleh menyebabkan saluran paip terhenti dengan teruk walaupun kapasiti NPU mencukupi. Sahkan sokongan pecutan operator sebelum memilih platform.

5. Aliran Kerja Perancangan Praktikal

1. Tetapkan garis dasar beban kerja dan mod operasi. Tentukan saluran AI: resolusi, kadar bingkai, kiraan saluran, strategi pencetus (berterusan atau dipacu peristiwa), pelaksanaan selari atau perkongsian masa, senarai model dan ketepatan penggunaan. Beri perhatian khusus kepada bagaimana berbilang saluran dijadualkan.

2. Kuantitikan beban kerja model dan eksport GMAC/s. Gunakan alatan untuk mengeksport GMAC/s bagi setiap model, asingkan pengiraan dipercepatkan NPU daripada pemprosesan pasca CPU.

3. Ukur pada papan sasaran untuk menentukan kecekapan pelaksanaan. Tukar model kepada format platform pada calon SoC seperti RK3576 atau RK3588. Ukur masa inferens setiap bingkai untuk menentukan daya pemprosesan sebenar model tersebut pada NPU tersebut. Ini adalah langkah paling penting untuk menghapuskan percanggahan dalam anggaran kertas: semua anggaran mesti dikalibrasi terhadap ukuran peringkat papan dan bukannya formula generik.

4. Agregatkan beban kerja berbilang saluran dan nilaikan kesesakan sistem. Nilaikan kedua-dua operasi keadaan stabil biasa dan puncak terburuk apabila semua saluran dicetuskan secara serentak. Periksa lebar jalur DDR dan penggunaan memori pada masa yang sama. Banyak projek berbilang kamera RK menghabiskan lebar jalur sementara kapasiti pengiraan masih tersedia.

5. Tempah ruang kepala yang sesuai dan tetapkan had. Gunakan margin 1.1–1.2 untuk produk jangka pendek dengan algoritma yang sebahagian besarnya tetap, dan 1.3–1.4 untuk produk yang dijangka menerima kemas kini model. Ruang kepala harus meliputi evolusi model, senario puncak dan overhed penjadualan dan bukannya peruntukan berlebihan sewenang-wenangnya. Tetapkan had kos dan kuasa BOM pada masa yang sama.

6. Lima Perangkap Perancangan Kapasiti NPU yang Biasa

6.1 Hanya Menggunakan Cip TOPS dan Kadar Penggunaan Tetap

Menggunakan kadar penggunaan tetap 40% kepada TOPS yang diiklankan boleh melebihkan keperluan pengiraan beberapa kali ganda dan berbeza dengan ketara daripada keadaan kejuruteraan sebenar. Penggunaan berbeza-beza dengan ketara mengikut model dan seni bina NPU.

6.2 Mendarab dengan Kiraan Saluran dan Mengabaikan Perkongsian Masa

Dalam operasi perkongsian masa, NPU memproses saluran secara bergilir-gilir dan kapasiti pengiraannya digunakan semula. Hanya mendarabkan kiraan saluran dengan permintaan pengiraan saluran tunggal boleh melebih-lebihkan keperluan, mengakibatkan cip yang terlalu berkuasa dan tidak perlu mahal.

6.3 Menilai Pengiraan NPU tetapi Mengabaikan Lebar Jalur DDR

Kesesakan lebar jalur adalah lebih biasa daripada kesesakan pengkomputeran dalam projek penglihatan berbilang kamera. NPU mungkin mempunyai kapasiti yang besar, tetapi pemindahan data tidak dapat ditandingi, lalu mengehadkan kadar bingkai. Lebar jalur mesti dinilai terlebih dahulu dalam projek berbilang kamera.

6.4 Mempertimbangkan Beban Purata tetapi Mengabaikan Puncak Sementara

Sesuatu produk mungkin beroperasi pada beban rendah pada kebanyakan masa tetapi mengalami puncak sementara apabila semua kamera mencetuskan AI secara serentak. Reka bentuk mesti menampung puncak ini, tetapi barisan tugas boleh melancarkan permintaan sementara, jadi cip tidak semestinya perlu disaizkan terus kepada permintaan pengiraan puncak.

6.5 Pengiraan Model Mengira Sahaja dan Mengabaikan Overhed Sistem

Banyak anggaran hanya mengira GMAC tulang belakang AI dan mengabaikan prapemprosesan ISP, penyalinan imej dan pemprosesan pasca CPU. Walaupun dengan kapasiti NPU yang mencukupi, overhed ini meningkatkan latensi hujung ke hujung dan menghalang kadar bingkai yang dijangkakan daripada dicapai.

7. Senarai Semak Pelaksanaan untuk Pemilihan Platform

Senaraikan semua parameter kamera: resolusi, kadar bingkai dan kiraan saluran. Sahkan sama ada saluran menggunakan penjadualan selari atau masa yang dikongsi.

Eksport GMAC untuk setiap model dan bezakan pengiraan NPU daripada pemprosesan pasca CPU.

Ukur masa inferens model tunggal pada platform calon untuk menentukan kecekapan pelaksanaan sebenar.

Agregatkan beban kerja berbilang saluran dan nilaikan penggunaan pengiraan NPU di bawah keadaan stabil dan keadaan puncak.

Ukur lebar jalur DDR dan penggunaan memori untuk menentukan sama ada lebar jalur merupakan punca masalah.

Sahkan operator model dan sahkan sokongan pecutan perkakasan NPU untuk mengelakkan sandaran CPU.

Rizabkan ruang kepala pengkomputeran mengikut pelan tindakan kemas kini produk dan tetapkan had kos dan kuasa BOM.

Jalankan ujian tekanan lanjutan dengan pencetus berbilang saluran serentak. Periksa variasi kadar bingkai dan ranap yang disebabkan oleh kehabisan memori.

Menentukan saiz kapasiti NPU untuk visi terbenam bukanlah satu latihan matematik yang mudah dalam menggunakan formula TOPS. Anggaran kertas hanya menyediakan rujukan perancangan awal. Pengesahan akhir mesti dilakukan pada papan pembangunan cip sasaran.

Penilaian lengkap mengikut urutan ini: tentukan sama ada pengiraan merupakan hambatan → sahkan penjadualan selari atau penjadualan kongsi masa → ukur model GMAC → utamakan penilaian lebar jalur DDR → kalibrasi melalui ujian peringkat lembaga → tempah ruang kepala pengiraan yang sesuai.

Matlamatnya adalah untuk mengimbangi prestasi, penggunaan kuasa dan kos. Pilih kapasiti yang mencukupi untuk tugas tersebut dan bukannya mengejar NPU TOPS puncak yang semakin tinggi.