멀티카메라 AI 비전 시스템에 필요한 DDR 메모리 용량은 얼마인가? (RK3576 선택 표 포함)

AI 비전 응용 분야가 급속도로 발전함에 따라, 스테레오, 쿼드카메라, 심지어 더 많은 카메라 채널을 지원하는 멀티카메라 솔루션이 데이터 수집, 보안 감시, 산업 검사, 로봇 인지, 엣지 컴퓨팅 등 다양한 분야에서 널리 채택되고 있다. 많은 프로젝트가 하드웨어 선정 과정에서 흔히 범하는 오류는 칩의 연산 성능만 집중적으로 고려하고, 메모리 구성은 간과하는 것이다. 이로 인해 결국 프레임 드랍, AI 추론 지연, 시스템 충돌 등의 문제가 발생한다.

DDR 메모리 용량이 클수록 항상 더 나은가? 성능과 안정성 측면에서는 그렇다. 그러나 단점도 명백하다 — 특히 최근 DDR 가격이 급등한 상황에서 비용 부담이 크다. 따라서 실제 프로젝트 요구 사항과 비용 사이의 균형을 맞추는 것이 솔루션 선정에서 매우 중요하다.

DDR 용량 산정 시 가장 흔히 발생하는 오류를 살펴보자: 정상적인 조건에서는 메모리 사용량이 낮게 나타날 수 있으나, 동시 작업이 급증할 때는 최고치로 치솟아 시스템 충돌을 직접 유발할 수 있다. 많은 팀이 하드웨어 평가 시 평균 메모리 소비량을 기준으로 삼는다. 널리 쓰이는 AR0234 센서를 예로 들면, 단일 1080P 카메라는 대기 상태에서 비교적 적은 메모리를 소비한다. 그러나 캡처-ISP-AI 추론-인코딩 전 과정 파이프라인을 실행할 경우 채널당 최대 메모리 사용량은 수십 MB에 달한다. 4K 카메라의 경우 채널당 최대 사용량이 100MB를 넘을 수도 있다. 일반적인 HTTP 요청조차 연결당 수 MB를 소비한다. 이러한 개별 오버헤드는 각각 미미해 보이지만, 여러 카메라와 작업이 동시에 활성화되면 급격히 누적되어 OOM(Out-of-Memory)을 유발할 수 있으며, 이로 인해 프로세스가 강제 종료되고 시스템 전체가 실패할 수 있다.

멀티카메라 AI 비전 시스템에서 메모리는 어디에 소비되나요?

엣지 비전 장치의 메모리는 AI 모델 전용이 아니며, 영상 캡처, 전처리, AI 추론, 시스템 서비스 및 애플리케이션 작업 부하 간에 공유된다. 카메라 채널이 추가될수록 메모리 오버헤드가 증가한다.

1. 이미지 버퍼(오버헤드의 가장 큰 원인) 각 카메라에서 출력되는 원시 영상, YUV 프레임 및 크기 조정된 프레임은 메모리를 소비한다. AR0234 센서를 1080P@30fps로 구동할 경우, 단일 YUV 프레임만으로도 수 MB를 차지한다. 프레임 드롭을 방지하기 위해 시스템은 다중 프레임 링 버퍼를 유지하며, 이로 인해 메모리 사용량이 추가로 증가한다. 원본, 축소판, 자른 프레임 등 여러 형태의 영상 변형을 생성하면 또 다른 프레임 버퍼가 필요해진다. 여러 대의 카메라가 동시에 스트리밍할 경우, 메모리 사용량은 배수적으로 늘어난다.

2. ISP 및 영상 전처리 오버헤드 ISP는 잡음 제거, 색상 보정, 왜곡 보정, 회전, 자르기 및 형식 변환을 수행하는 독립형 하드웨어 가속기이다. ISP는 대용량 프레임 저장 기능이 없는 제한된 온칩 캐시만 포함한다. 따라서 많은 작업에 대해 임시 버퍼를 DDR에 할당해야 한다. 카메라 채널 수가 많을수록 ISP의 작업 부하가 증가하고, DDR 용량 요구 사항도 높아진다.

3. AI 모델 추론을 위한 메모리 AI 추론은 두 부분에서 메모리를 소비한다. 첫 번째는 모델 가중치이며, 더 큰 모델 파라미터는 더 높은 메모리 소비를 초래한다. 다행히도 가중치는 모델 초기화 시 한 번만 로드되며, 실행 중에는 카메라 채널 수나 시나리오가 증가해도 그 메모리 점유량은 늘지 않는다.

추론 실행 단계에서 메모리가 영향을 받지 않습니까? 전혀 그렇지 않습니다. 이는 두 번째 구성 요소, 즉 추론 중에 생성되는 중간 특징 버퍼로 이어집니다. 각 카메라 채널은 자체 계산 버퍼를 필요로 하므로 전체 메모리 사용량이 증가합니다. 여러 카메라에서 동기화된 AI 추론을 수행하려면 여러 개의 독립적인 계산 버퍼가 필요합니다. 따라서 채널 수가 많을수록 추론 버퍼에 대한 메모리 오버헤드도 높아집니다.

4. 시스템, 드라이버 및 미들웨어 오버헤드 당사 RK3576 비전 솔루션을 예로 들어 보겠습니다. 기본 시스템 메모리는 리눅스 커널, RK 미디어 드라이버, RKMPP 미디어 프레임워크, NPU 드라이버, 시스템 로그 및 실행 중인 프로세스에 의해 소비됩니다. 다중 카메라 배포 환경에서는 미디어 프레임워크와 영상 인코딩(H.264 / H.265 녹화)이 상당한 메모리 부담을 추가합니다. 다중 채널 인코딩 및 녹화 기능을 활성화하면 메모리 압력이 급격히 더 커집니다.

중요 참고: 여기서 언급된 메모리는 작동 메모리(DDR RAM)를 의미하며, eMMC 저장 장치를 의미하지 않습니다. eMMC는 인코딩된 영상 파일만 저장합니다.

5.용도 - 비즈니스 메모리 계층 추론 결과 분석, 멀티 객체 추적, 데이터 보고, 로컬 캐시 및 스냅샷 저장 등 응용 프로그램 로직은 메모리를 소비합니다. 예를 들어, 추적 알고리즘은 멀티 프레임 타겟 데이터를 저장합니다. 더 많은 카메라와 추적된 객체는 더 큰 데이터 세트와 더 높은 애플리케이션 수준의 메모리 소비를 생성합니다.

RK3576 플랫폼에서 실용적인 메모리 성능

RK3576은 6TOPS의 NPU 성능을 제공하는 주류 국내 엣지 AI 프로세서이며, 멀티 카메라 AI 비전 배포에 적합합니다. 우리 회사는 다양한 프로젝트 요구 사항에 맞게 1에서 6개의 카메라 채널을 지원하는 여러 성숙한 대량 생산 제품을 보유하고 있습니다. 4GB DDR는 대량 생산의 주류 구성이며, 다른 DDR 크기는 다양한 작업 부하에 지원됩니다.

아래 표는 시장에서 일반적인 1080p-4K 카메라 센서에 적용됩니다.

적절한 메모리 구성이 불확실할 경우, [email protected]으로 문의해 주세요. 카메라 채널 수, 해상도, 비즈니스 로직 및 실행 중인 워크로드를 기반으로 맞춤형 솔루션 평가를 제공합니다.