Çoklu Kamera AI Görüş Sistemi Ne Kadar DDR Belleğe İhtiyaç Duyar? (RK3576 Seçim Tablosuyla Birlikte)

AI görüş uygulamalarının hızlı gelişmesiyle birlikte, çoklu kamera çözümleri (stereoskopik, dört kamerali ve hatta daha fazla kamera kanallı sistemler), veri toplama, güvenlik gözetimi, endüstriyel inceleme, robot algılama ve kenar bilişim gibi senaryolarda yaygın olarak benimsenmiştir. Birçok proje, donanım seçimi sırasında yaygın bir tuzakla karşılaşıyor: yalnızca çipin işlem gücüne odaklanırken bellek yapılandırmasını göz ardı ediyor. Bu durum sonunda kare kaybı, gecikmeli AI çıkarımı ve sistem çökmeleri gibi sorunlara yol açıyor.

Daha büyük DDR bellek her zaman daha mı iyidir? Evet, performans ve kararlılık açısından öyle. Ancak dezavantajı açıkça görünür — cüzdanı zorluyor, özellikle son dönemde DDR fiyatlarındaki artış göz önünde bulundurulduğunda. Dolayısıyla çözüm seçimi için maliyet ile gerçek proje gereksinimleri arasında denge kurmak kritik hâle geliyor.

DDR boyutlandırma konusundaki en yaygın tuzaklara bir bakalım: bellek kullanımı normal koşullarda düşük görünse de, eşzamanlı görev patlamaları sırasında tepe değerlere sıçrayabilir ve doğrudan sistem çökmelerine neden olabilir. Birçok takım, donanım değerlendirmesi için ortalama bellek tüketimini kullanır. Yaygın olarak kullanılan AR0234 sensörünü örnek alalım: Tek bir 1080P kamera, bekleme modunda mütevazı bir bellek tüketir. Bununla birlikte, görüntü yakalama-ISP-Yapay Zeka çıkarımı-kodlama tam işlem hattı çalıştırıldığında, tepe bellek tüketimi kanal başına onlarca MB’ye ulaşabilir. Bir 4K kamera için kanal başına tepe tüketim 100 MB’yi aşabilir. Hatta sıradan bir HTTP isteği bile bağlantı başına birkaç MB bellek tüketir. Bu bireysel yükler küçük gibi görünse de, birden fazla kamera ve görev aynı anda aktif hale geldiğinde hızla birikir. Bu durum, OOM (Bellek Dışı) hatasına yol açabilir ve sonucunda işlemler sonlandırılabilir, sistem arızası meydana gelebilir.

Çoklu Kamera Yapay Zeka Görüş Sistemlerinde Bellek Tüketimi Nerede Gerçekleşir?

Kenar görünüm cihazlarındaki bellek, yapay zekâ modelleri tarafından yalnızca kullanılmaz. Görüntü yakalama, ön işleme, yapay zekâ çıkarımı, sistem hizmetleri ve uygulama iş yükleri arasında paylaşılır. Her ekstra kamera kanalı ile bellek yükü artar.

1. Görüntü Tamponları (En Büyük Yük Kaynağı) Her kameradan çıkan ham görüntüler, YUV çerçeveleri ve ölçeklendirilmiş çerçeveler bellek tüketir. 1080P@30fps hızında çalışan bir AR0234 için tek bir YUV çerçevesi birkaç MB’lık bellek kaplar. Kare düşmelerini önlemek amacıyla sistem çoklu kareli halka tamponları sürdürür; bu da bellek kullanımını daha da artırır. Birden fazla görüntü çeşidi üretmek (orijinal, küçük resim, kırpılmış çerçeveler) ek çerçeve tamponları oluşturur. Aynı anda birden fazla kamera akışı yapıldığında bellek kullanımı katlanır.

2. ISP ve Görüntü Ön İşleme Yükü ISP, gürültü azaltma, renk düzeltme, bozulma düzeltme, döndürme, kırpma ve biçim dönüştürme işlemlerini gerçekleştiren bağımsız bir donanım hızlandırıcısıdır. ISP'nin üzerinde büyük kapasiteli çerçeve depolama alanı bulunmaz; yalnızca sınırlı miktarda dahili önbellek vardır. Bu nedenle birçok işlem için geçici tamponlar DDR bellekte ayrılmalıdır. Daha fazla kamera kanalı, ISP üzerinde daha ağır iş yükleri ve daha yüksek DDR kapasitesi gereksinimleri anlamına gelir.

3.Yapay Zekâ Modeli Çıkarımı İçin Bellek Yapay zekâ çıkarımı belleği iki kısımda tüketir. İlk kısım model ağırlıklarıdır: daha büyük model parametreleri, daha yüksek bellek tüketimi ile sonuçlanır. Neyse ki ağırlıklar model başlatıldığında bir kez yüklenir; bu nedenle çalışma zamanında daha fazla kamera kanalı veya senaryo ile bellek kullanımı artmaz.

Bellek, çıkarım çalışma zamanı aşamasında etkilenmiyor mu? Hiçbire. Bu durum bizi ikinci bileşene, yani çıkarım sırasında üretilen ara özellik tamponlarına getiriyor. Her kamera kanalı kendi hesaplama tamponunu gerektirir ve bu da toplam bellek kullanımını artırır. Çoklu kamerada senkronize yapay zekâ çıkarımı, birden fazla bağımsız hesaplama tamponu gerektirir. Dolayısıyla daha fazla kanal, çıkarım tamponları için daha yüksek bellek yükü anlamına gelir.

4. Sistem, Sürücü ve Ara Katman Yükü RK3576 görüş çözümümüzü örnek alalım. Temel sistem belleği, Linux çekirdeği, RK medya sürücüleri, RKMPP medya çerçevesi, NPU sürücüleri, sistem günlükleri ve çalışan süreçler tarafından tüketilir. Çoklu kamera dağıtımlarında medya çerçeveleri ve video kodlama (H.264 / H.265 kaydı) önemli ölçüde ek bellek yükü oluşturur. Çok kanallı kodlama ve kaydı etkinleştirmek, bellek baskısını keskin bir şekilde daha da artırır.

Önemli not: Bu, eMMC depolama değil, çalışan bellek (DDR RAM) ile ilgilidir. eMMC yalnızca kodlanmış video dosyalarını saklar.

5.Uygulama -Katman İşletme Belleği Çıkarım sonucu ayrıştırma, çoklu nesne takibi, veri raporlama, yerel önbellekleme ve anlık görüntü depolama dahil olmak üzere uygulama mantığı bellek tüketir. Örneğin, takip algoritmaları çok kareli hedef verilerini saklar. Daha fazla kamera ve takip edilen nesne, daha büyük veri kümeleri ve daha yüksek uygulama seviyesinde bellek tüketimi oluşturur.

RK3576 Platformunda Pratik Bellek Performansı

RK3576, 6 TOPS NPU performansı sunan, çoklu kamera yapay zekâ görüş sistemleri için uygun olan yaygın bir yerel uç AI işlemcisidir. Şirketimizin, çeşitli proje gereksinimlerine uyum sağlamak amacıyla 1 ila 6 kamera kanalını destekleyen birden fazla olgun seri üretim ürünü bulunmaktadır. 4 GB DDR, yaygın olarak kullanılan seri üretim yapılandırmasıdır; farklı iş yükleri için alternatif DDR boyutları da desteklenmektedir.

Aşağıdaki tablo, piyasadaki yaygın 1080p–4K kamera sensörlerine uygulanır:

Uygun bellek yapılandırması konusunda emin değilseniz lütfen [email protected] adresine ulaşın. Kamera kanal sayınız, çözünürlüğünüz, iş mantığınız ve çalışma zamanı iş yükünüz temel alınarak özelleştirilmiş çözüm değerlendirmesi sağlayacağız.