Gömülü Görüntüleme Ürünleri için NPU İşlem Kapasitesinin Boyutlandırılması

1. NPU Kapasite Planlamasının Çözdüğü Sorunu Anlamak

Robotlar, akıllı kameralar ve endüstriyel görüntüleme terminalleri de dahil olmak üzere birçok gömülü cihaz, yapay zeka görüntüleme algoritmalarını çalıştırmak için artık NPU'ları kullanıyor. NPU, bir çip içinde yapay zeka çıkarımına adanmış bir donanım birimidir.

Çip seçerken, birçok ekip öncelikle NPU TOPS derecesine bakar ve daha yüksek bir sayının daha güçlü bir çip anlamına geldiğini varsayar. Uygulamada, ürün geliştirme iki tipik sorunla karşılaşır:

İlk sorun yetersiz işlem gücü. Cihaz düşük kare hızında çalışıyor, video takılıyor, birden fazla kamera aynı anda çalıştığında kareler atlanıyor ve yapay zeka tanıma başarısız olabiliyor.

İkincisi aşırı kapasite. Çip pahalı, daha fazla güç tüketiyor ve önemli miktarda ısı üretiyor. Kullanılmayan işlem gücü kar marjlarını düşürüyor.

Önemli bir mühendislik hususu, birçok gömülü görüntüleme projesinde performansın NPU işlem kapasitesinden ziyade görüntü aktarımları, bellek bant genişliği veya CPU tabanlı sonraki aşama işlemleriyle sınırlı olmasıdır.

2. Temel Kavramlar ve İki Temel Ölçüt

Hesaplama planlaması uzun bir teknik terim listesi gerektirmez. İki temel kavramı birbirinden ayırmak, çip özelliklerinin yanıltıcı hale gelmesini önlemeye yardımcı olur.

Çip üreticileri tarafından reklamı yapılan TOPS rakamı, teorik en yüksek işlem gücüdür: bir NPU'nun ideal laboratuvar koşullarında tam yük altında ulaşabileceği maksimum işlem kapasitesi. Ürün tasarımlarında ek alan gereklidir, bu nedenle en yüksek performans doğrudan boyutlandırma için kullanılamaz.

Yapay zekâ modelinin hesaplama yükünü değerlendirmek için GMAC kullanıyoruz. MAC, temel bir çarpma-toplama işlemidir ve GMAC, bu tür bir milyar işlemi temsil eder. Bir modeldeki hesaplama miktarını ölçer. GMAC'ın iş yükünü, GMAC/s'nin ise verimliliği ölçtüğünü unutmayın. Daha büyük modellerin GMAC değerleri daha yüksektir.

NPU kullanım oranı sabit bir değer değildir. Etkin hesaplama için kullanılan NPU kapasitesinin oranını temsil eder. VIO ön uçları veya hafif algılama modelleri gibi basit evrişimsel ağlar için, basit operatörler ve kapsamlı çip optimizasyonu %60-80'lik bir kullanım oranı sağlayabilir. Karmaşık dönüşümler veya Transformer blokları içeren modeller, tekrarlanan döşemeli yürütme gerektirebilir ve bu da kullanım oranını %20'ye veya daha da altına düşürebilir.

%40'lık sabit bir kullanım oranının uygulanması, hatalı tahminlerin başlıca nedenlerinden biridir. Çözünürlük ayrıca iş yükünü de doğrudan etkiler: giriş görüntüsünün hem genişliğini hem de yüksekliğini iki katına çıkarmak, alanını dört katına çıkarır ve aynı model için hesaplama yükünü yaklaşık olarak dört katına çıkarır.

TOPS yalnızca donanımın üst sınırını gösterir. Hesaplama tahminlerine modelin GMAC iş yüküyle başlayın ve bunları bir geliştirme kartındaki ölçümlerle kalibre edin. Bir çipi yalnızca teorik en yüksek performansına göre seçmeyin.

3. Tanımlayın Başvuru Gereksinimler ve Çok Kameralı Planlama

Hesaplama gereksinimlerini tahmin etmeden önce, ürünün iş yükünü haritalandırın. Kritik ayrım, birden fazla kameranın paralel çıkarım mı yoksa zaman paylaşımlı, sırayla çıkarım mı kullandığıdır, çünkü bu, hesaplama taleplerinin nasıl birleştirileceğini belirler.

Paralel mod: Tüm kameralar aynı anda yapay zeka çıkarımı yapar, bu nedenle işlem gücü gereksinimleri doğrudan toplanır. Örneğin, her kanalda saniyede 30 kare hızında gerçek zamanlı nesne tespiti yapan dört kameraya sahip bir güvenlik cihazı, dört kanalın yükünü birleştirir.

Zaman paylaşımlı mod: NPU, kamera görüntülerini sırayla işleyen, kanalların kuyrukta sırayla işlenmesini sağlayan paylaşımlı bir donanım kaynağıdır. Rockchip RK platformlarındaki birçok çok kameralı görüntü işleme uygulaması bu yaklaşımı kullanır.

İş yükünü tanımlarken aşağıdaki bilgileri toplayın:

Her kamera için çözünürlük ve kare hızı.

Yapay zeka modeli listesi: NPU'da çalışan modeller ve CPU'da çalışan işlem sonrası görevler.

Nicelleştirme hassasiyeti: INT8, daha yüksek çıkarım verimliliği nedeniyle gömülü cihazlar için yaygın bir tercihtir.

Tetikleme yöntemi: Her karede sürekli yapay zeka işleme veya karmaşık algoritmaların yalnızca bir tetikleme koşulu karşılandığında başladığı olay tabanlı işlem.

Önemli: Model GMAC'ini deneyime dayalı tahminler yerine RKNN veya ONNX Runtime gibi araçlar kullanarak dışa aktarın. Büyük bir YOLO modelinin iş yükünü hafif bir VIO ağının boyutlandırılmasında kullanmak, hesaplama gereksinimlerini ciddi şekilde abartabilir.

MV11 ürünümüz, yüksek performanslı Rockchip RK3576 işlemcisine dayalı, dört kameralı donanım senkronize görüntü işleme ve atalet navigasyonu füzyon hesaplama platformudur. 6 TOPS NPU ve 4 GB LPDDR4 belleğe sahiptir ve dört kamera arasında mikrosaniye düzeyinde senkronizasyonu destekler. Uygun uygulamalar arasında robotik tanıma ve algılama, VIO, SLAM ve çok kameralı EGO veri toplama yer almaktadır. Yukarıda açıklanan kart düzeyinde hesaplama, bant genişliği ve çok kanallı zamanlama testleri için donanım platformu olarak hizmet verebilir. Erken proje değerlendirmesi için örnekler mevcuttur ve eksiksiz görüntü işleme çözümleri, dağıtımı desteklemek üzere özelleştirilebilir. [email protected] adresinden bizimle iletişime geçin.

4. NPU Hesaplamasından Önce Performansı Sıklıkla Sınırlayan Kısıtlamalar

Birçok proje, seçim aşamasında yalnızca NPU TOPS'a odaklanır, ancak kart devreye alındığında, NPU kapasitesinin yarısından fazlası kullanılabilir durumda olmasına rağmen sistemin yetersiz kaldığı keşfedilir. Aşağıdaki kısıtlamalar, gömülü görüntüleme sistemlerinde sık karşılaşılan darboğazlardır.

4.1 DDR Bellek Bant Genişliği

Yapay zeka çıkarımı sırasında, NPU sürekli olarak görüntüleri ve model ağırlıklarını bellekten okur ve ara özellik haritalarını belleğe geri yazar. DDR bant genişliği, bu aktarımların hızını belirler. Bant genişliği yetersiz olduğunda, yeterli işlem kapasitesine sahip bir NPU bile veri beklemek zorunda kalır ve bu da kare hızı iyileştirmelerini engeller. RK platformlarındaki çoğu çok kameralı projede, NPU kapasitesinin yalnızca küçük bir kısmı kullanılırken bant genişliği doygunluğa ulaşır.

4.2 Bellek Kapasitesi

Görüntü tamponları, yapay zeka model ağırlıkları ve ara özellik haritaları bellek tüketir. Birden fazla kanal aynı anda çalıştığında bellek kullanımı önemli ölçüde artar. Yetersiz bellek, uygulamanın çökmesine neden olabilir. Gömülü cihazlarda genellikle sanal bellek bulunmadığından, bellek yetersizliği (OOM) durumu cihazın durmasına neden olabilir.

4.3 ISP Görüntü Ön İşleme

Kameralar tarafından yakalanan ham görüntüler kırpma, ölçeklendirme ve renk alanı dönüştürme gerektirir. Bazı ön işleme işlemleri ISP donanımı tarafından yapılırken, bazıları da CPU kaynaklarını kullanır. Çoklu kamera ile çekim, ön işleme ihtiyacını artırır ve NPU boşta olsa bile işlem hattı boyunca gecikmeye neden olabilir.

4.4 Güç Tüketimi ve Termal Yönetim

Bir çipin reklamı yapılan en yüksek TOPS değeri, en yüksek güç tüketimine karşılık gelir. Çoğu gömülü cihaz fansızdır ve uzun süre boyunca tam NPU yükünü sürdüremez. Teorik işlem kapasitesi yüksek olsa bile, termal koşullar sürekli çalışma için mevcut kapasiteyi sınırlar.

4.5 Operatör Uyumluluğu

Bir yapay zeka modeli, NPU'nun hızlandıramayacağı özel operatörler içeriyorsa, işlem CPU'ya geri döner. CPU'da yapay zeka işlemesi yavaştır ve NPU kapasitesi yeterli olsa bile işlem hattını ciddi şekilde tıkayabilir. Platformu seçmeden önce operatör hızlandırma desteğini doğrulayın.

5. Pratik Bir Planlama İş Akışı

1. İş yükü temelini ve çalışma modunu belirleyin. Yapay zeka işlem hattını tanımlayın: çözünürlük, kare hızı, kanal sayısı, tetikleme stratejisi (sürekli veya olay odaklı), paralel veya zaman paylaşımlı yürütme, model listesi ve dağıtım hassasiyeti. Birden fazla kanalın nasıl planlandığına özellikle dikkat edin.

2. Model iş yüklerini ölçün ve GMAC/s cinsinden dışa aktarın. Her model için GMAC/s cinsinden dışa aktarma araçlarını kullanın ve NPU hızlandırmalı hesaplamayı CPU son işleminden ayırın.

3. Yürütme verimliliğini belirlemek için hedef kart üzerinde ölçüm yapın. Modelleri RK3576 veya RK3588 gibi aday SoC'lerde platform formatına dönüştürün. O modelin o NPU üzerindeki gerçek verimliliğini belirlemek için kare başına çıkarım süresini ölçün. Bu, kağıt üzerindeki tahminlerdeki tutarsızlıkları ortadan kaldırmak için en önemli adımdır: tüm tahminler genel formüller yerine kart düzeyindeki ölçümlere göre kalibre edilmelidir.

4. Çok kanallı iş yüklerini bir araya getirin ve sistem darboğazlarını değerlendirin. Hem normal kararlı durum çalışmasını hem de tüm kanalların aynı anda tetiklendiği en kötü durum tepe noktasını değerlendirin. Aynı anda DDR bant genişliğini ve bellek kullanımını kontrol edin. Birçok RK çok kameralı projesinde, işlem kapasitesi kullanılabilir durumda kalırken bant genişliği tükenir.

5. Uygun bir pay ayırın ve sınırlar belirleyin. Algoritmaları büyük ölçüde sabit olan kısa vadeli ürünler için 1,1–1,2, model güncellemeleri alması beklenen ürünler için ise 1,3–1,4'lük bir pay kullanın. Pay, keyfi aşırı kaynak tahsisinden ziyade model evrimini, en yüksek senaryoları ve planlama yükünü kapsamalıdır. Malzeme listesi maliyetini ve güç sınırlarını aynı anda belirleyin.

6. NPU Kapasite Planlamasında Sık Karşılaşılan Beş Hata

6.1 Yalnızca Çip TOPS ve Sabit Kullanım Oranının Kullanılması

İlan edilen TOPS değerine sabit %40'lık bir kullanım oranı uygulamak, hesaplama gereksinimlerini birkaç kat fazla tahmin edebilir ve gerçek mühendislik koşullarından önemli ölçüde sapabilir. Kullanım oranı, modeller ve NPU mimarileri arasında önemli ölçüde değişiklik gösterir.

6.2 Kanal Sayısıyla Çarpma ve Zaman Paylaşımını Göz Ardı Etme

Zaman paylaşımlı çalışma modunda, NPU kanalları sırayla işler ve işlem kapasitesi yeniden kullanılır. Kanal sayısını tek kanallı işlem talebiyle çarpmak, gereksinimleri ciddi şekilde abartabilir ve sonuç olarak aşırı güçlü, gereksiz yere pahalı bir çip ortaya çıkabilir.

6.3 DDR Bant Genişliğini Göz Ardı Ederek NPU Hesaplama Performansını Değerlendirme

Çok kameralı görüntü işleme projelerinde bant genişliği darboğazları, işlem gücü darboğazlarından çok daha yaygındır. NPU'da önemli miktarda kapasite kalmış olabilir, ancak veri aktarımları yetişemez ve kare hızını sınırlar. Çok kameralı projelerde öncelikle bant genişliği değerlendirilmelidir.

6.4 Ortalama Yükü Dikkate Alırken Geçici Tepe Noktalarını Göz Ardı Etme

Bir ürün çoğu zaman düşük yükte çalışabilir ancak tüm kameralar aynı anda yapay zekayı tetiklediğinde geçici zirveler yaşayabilir. Tasarım bu zirveleri karşılamalıdır, ancak bir görev kuyruğu geçici talebi dengeleyebilir, bu nedenle çipin doğrudan en yüksek işlem gücü talebine göre boyutlandırılması gerekmez.

6.5 Yalnızca Sayma Modeli Hesaplaması ve Sistem Ek Yükünün Göz Ardı Edilmesi

Birçok tahmin yalnızca yapay zeka altyapısının GMAC'ını hesaba katıyor ve ISP ön işleme, görüntü kopyalama ve CPU son işlemeyi göz ardı ediyor. Yeterli NPU kapasitesi olsa bile, bu ek yükler uçtan uca gecikmeyi artırır ve beklenen kare hızına ulaşılmasını engeller.

7. Platform Seçimi İçin Uygulama Kontrol Listesi

Tüm kamera parametrelerini listeleyin: çözünürlük, kare hızı ve kanal sayısı. Kanalların paralel mi yoksa zaman paylaşımlı mı zamanlama kullandığını doğrulayın.

Her model için GMAC dosyasını dışa aktarın ve NPU hesaplamasını CPU son işleminden ayırın.

Gerçek yürütme verimliliğini belirlemek için aday platformlarda tek model çıkarım süresini ölçün.

Çok kanallı iş yüklerini bir araya getirin ve kararlı durum ve en yüksek yük koşullarında NPU işlem gücü kullanımını değerlendirin.

Bant genişliğinin darboğaz olup olmadığını belirlemek için DDR bant genişliğini ve bellek kullanımını ölçün.

Model operatörlerini doğrulayın ve CPU'ya geri dönüşü önlemek için NPU donanım hızlandırma desteğini onaylayın.

Ürün güncelleme yol haritasına göre işlem gücü rezervi ayırın ve malzeme listesi maliyeti ve güç sınırlarını belirleyin.

Eş zamanlı çok kanallı tetikleyicilerle uzun süreli stres testleri çalıştırın. Bellek tükenmesinden kaynaklanan kare hızı varyasyonlarını ve çökmeleri kontrol edin.

Gömülü görüntü işleme için NPU kapasitesinin boyutlandırılması, TOPS formülünün uygulanmasından ibaret basit bir matematiksel işlem değildir. Kağıt üzerindeki tahminler yalnızca erken bir planlama referansı sağlar. Nihai doğrulama, hedef çipin geliştirme kartında yapılmalıdır.

Tam bir değerlendirme şu sırayı izler: işlem gücünün darboğaz olup olmadığını belirleme → paralel veya zaman paylaşımlı zamanlamayı doğrulama → model GMAC'ını ölçme → DDR bant genişliği değerlendirmesine öncelik verme → kart düzeyinde testlerle kalibrasyon yapma → uygun işlem gücü payı ayırma.

Amaç, performans, güç tüketimi ve maliyet arasında denge kurmaktır. Sürekli daha yüksek tepe NPU TOPS değerlerine ulaşmak yerine, görev için yeterli kapasiteyi seçmek gerekir.

MV11 ürünümüz, yüksek performanslı Rockchip RK3576 işlemcisine dayalı, dört kameralı donanım senkronize görüntü işleme ve atalet navigasyonu füzyon hesaplama platformudur. 6 TOPS NPU ve 4 GB LPDDR4 belleğe sahiptir ve dört kamera arasında mikrosaniye düzeyinde senkronizasyonu destekler. Uygun uygulamalar arasında robotik tanıma ve algılama, VIO, SLAM ve çok kameralı EGO veri toplama yer almaktadır. Yukarıda açıklanan kart düzeyinde hesaplama, bant genişliği ve çok kanallı zamanlama testleri için donanım platformu olarak hizmet verebilir. Erken proje değerlendirmesi için örnekler mevcuttur ve eksiksiz görüntü işleme çözümleri, dağıtımı desteklemek üzere özelleştirilebilir. [email protected] adresinden bizimle iletişime geçin.