Ile pamięci DDR wymaga wielokamerowy system wizji sztucznej oparty na AI? (z tabelą doboru układu RK3576)

Wraz z szybkim rozwojem aplikacji AI do przetwarzania obrazu rozwiązania wielokamerowe (stereoskopowe, czterokamerowe oraz o jeszcze większej liczbie kanałów) znalazły szerokie zastosowanie w takich obszarach jak pozyskiwanie danych, nadzór bezpieczeństwa, inspekcja przemysłowa, percepcja robotów oraz obliczenia brzegowe. Wielu projektantów popełnia typowy błąd podczas doboru sprzętu: koncentruje się wyłącznie na mocy obliczeniowej układu, pomijając konfigurację pamięci. Skutkuje to problemami takimi jak utrata klatek, opóźnienia w wnioskowaniu AI oraz awarie systemu.

Czy im większa pojemność pamięci DDR, tym lepiej? Tak – jeśli chodzi o wydajność i stabilność. Jednak wada jest oczywista: wysokie koszty, zwłaszcza w kontekście ostatniego skoku cen pamięci DDR. Dlatego kluczowe staje się zrównoważenie kosztów z rzeczywistymi wymaganiami projektu przy wyborze rozwiązania.

Spójrzmy na najbardziej typowy błąd przy doborze pojemności pamięci DDR: użycie pamięci może wydawać się niskie w warunkach normalnych, ale może gwałtownie wzrosnąć do wartości szczytowych podczas skupisk jednoczesnych zadań, co bezpośrednio powoduje awarie systemu. Wiele zespołów wykorzystuje średnie zużycie pamięci do oceny sprzętu. Weźmy na przykład powszechnie stosowany czujnik AR0234: pojedyncza kamera 1080P zużywa umiarkowaną ilość pamięci w stanie bezczynności. Jednak podczas pełnego przetwarzania — przechwytywanie, ISP, wnioskowanie AI, kodowanie — szczytowe zużycie pamięci może osiągnąć dziesiątki MB na kanał. Dla kamery 4K szczytowe zużycie na kanał może przekroczyć 100 MB. Nawet zwykłe żądanie HTTP zużywa kilka MB na połączenie. Poszczególne obciążenia wydają się niewielkie, ale szybko się kumulują, gdy aktywowane są jednocześnie wiele kamer i zadań. Może to spowodować błąd OOM (Out-of-Memory), prowadzący do zakończenia procesów i awarii systemu.

Gdzie zużywana jest pamięć w wielokameralnych systemach wizji AI?

Pamięć w urządzeniach wizyjnych z przetwarzaniem brzegowym nie jest wykorzystywana wyłącznie przez modele sztucznej inteligencji. Jest ona współdzielona między przechwytywanie obrazów, wstępną obróbkę, wnioskowanie AI, usługi systemowe oraz obciążenia aplikacji. Obciążenie pamięci rośnie przy każdej dodatkowej kamerze.

1. Bufory obrazów (największe źródło obciążenia) Surowe obrazy, ramki YUV oraz przeskalowane ramki generowane przez każdą kamerę zużywają pamięć. Dla czujnika AR0234 pracującego w rozdzielczości 1080P przy 30 klatek na sekundę pojedyncza ramka YUV zajmuje kilka megabajtów. Aby zapobiec utracie klatek, system utrzymuje wieloklatkowe bufory pierścieniowe, co daje dodatkowy wzrost zapotrzebowania na pamięć. Tworzenie wielu wariantów obrazu (oryginał, miniatury, ucięte ramki) powoduje powstanie dodatkowych buforów klatek. Zużycie pamięci wzrasta wielokrotnie, gdy wiele kamer transmituje obrazy równocześnie.

2. Obciążenie procesora sygnałów obrazu (ISP) i wstępnej obróbki obrazu ISP to niezależny akcelerator sprzętowy realizujący redukcję szumów, korekcję kolorów, korekcję zniekształceń, obrót, przycinanie oraz konwersję formatu. ISP zawiera jedynie ograniczoną pamięć podręczną na układzie, bez magazynu ramek o dużej pojemności. W związku z tym bufory tymczasowe muszą być przydzielane w pamięci DDR do wielu operacji. Więcej kanałów kamery oznacza większe obciążenie ISP oraz wyższe wymagania co do pojemności pamięci DDR.

3. Pamięć przeznaczona do wnioskowania modeli sztucznej inteligencji Wnioskowanie AI zużywa pamięć w dwóch częściach. Pierwszą z nich są wagi modelu: większe parametry modelu powodują wyższe zużycie pamięci. Na szczęście wagi są ładowane tylko raz podczas inicjalizacji modelu; ich zapotrzebowanie na pamięć nie rośnie wraz ze wzrostem liczby kanałów kamery ani scenariuszy w trakcie działania.

Czy pamięć nie jest obciążana w fazie wykonywania wnioskowania? W żadnym stopniu. To prowadzi nas do drugiego składnika: buforów cech pośrednich generowanych podczas wnioskowania. Każdy kanał kamery wymaga własnego bufora obliczeniowego, co zwiększa całkowite zużycie pamięci. Synchroniczne wnioskowanie AI na wielu kamerach wymaga wielu niezależnych buforów obliczeniowych. Dlatego więcej kanałów oznacza wyższe obciążenie pamięci przez bufory wnioskowania.

4. Obciążenie systemu, sterowników i oprogramowania pośredniego Weźmy jako przykład nasze rozwiązanie wizyjne RK3576. Podstawowa pamięć systemowa jest zużywana przez jądro Linuxa, sterowniki mediów RK, framework mediów RKMPP, sterowniki NPU, dzienniki systemowe oraz działające procesy. W wdrożeniach wielokameralnych frameworki mediów oraz kodowanie wideo (nagrywanie w formacie H.264 / H.265) powodują znaczne obciążenie pamięci. Włączenie kodowania i nagrywania na wielu kanałach powoduje gwałtowny dalszy wzrost nacisku na pamięć.

Uwaga ważna: chodzi tu o pamięć roboczą (DDR RAM), a nie o pamięć masową eMMC. eMMC przechowuje wyłącznie zakodowane pliki wideo.

5.Zastosowanie -Warstwa pamięci biznesowej Logika aplikacji, w tym analiza wyników wnioskowania, śledzenie wielu obiektów, raportowanie danych, buforowanie lokalne i przechowywanie migawek, zużywają pamięć. Na przykład algorytmy śledzenia przechowują dane obiektów z wielu klatek. Więcej kamer i śledzonych obiektów generuje większe zestawy danych oraz wyższe zużycie pamięci na poziomie aplikacji.

Rzeczywista wydajność pamięci na platformie RK3576

RK3576 to popularny krajowy procesor AI dla urządzeń brzegowych o wydajności NPU wynoszącej 6 TOPS, dobrze dopasowany do wdrożeń wielokamerowych systemów wizji AI. Nasza firma oferuje wiele dojrzałych produktów produkowanych seryjnie, obsługujących od 1 do 6 kanałów kamer, aby spełnić różnorodne wymagania projektowe. 4 GB pamięci DDR to konfiguracja standardowa w produkcji masowej, przy czym dostępne są również alternatywne pojemności pamięci DDR dostosowane do różnych obciążeń.

Poniższa tabela dotyczy powszechnie stosowanych na rynku czujników kamer 1080p–4K:

Jeśli nie jesteś pewien odpowiedniej konfiguracji pamięci, skontaktuj się z adresem [email protected]. Przygotujemy spersonalizowaną ocenę rozwiązania na podstawie liczby kanałów kamery, rozdzielczości, logiki biznesowej oraz obciążenia systemu w trakcie działania.