임베디드 비전 제품을 위한 NPU 컴퓨팅 용량 산정 방법

1. 문제 이해: NPU 용량 계획이 해결하는 사항

많은 임베디드 기기, 예를 들어 로봇, 스마트 카메라 및 산업용 비전 터미널은 이제 AI 비전 알고리즘 실행을 위해 NPU를 사용한다. NPU는 칩 내부에 있는 AI 추론 전용 하드웨어 유닛이다.

칩을 선택할 때 많은 팀은 먼저 해당 칩의 NPU TOPS 등급을 확인하고, 수치가 높을수록 더 강력한 칩이라고 가정한다. 실제로 제품 개발 과정에서는 두 가지 전형적인 문제가 발생한다:

첫 번째 문제는 연산 용량 부족이다. 기기가 낮은 프레임 속도로 작동하고, 영상이 끊기며, 여러 대의 카메라가 동시에 작동할 때 프레임이 드롭되며, AI 인식이 실패할 수 있다.

두 번째 문제는 과잉 용량이다. 칩은 비싸고, 더 많은 전력을 소비하며 상당한 열을 발생시킨다. 미사용 계산 용량은 이익 마진을 줄인다.

핵심 엔지니어링 고려 사항 중 하나는, 많은 임베디드 비전 프로젝트에서 성능이 이미지 전송, 메모리 대역폭 또는 CPU 기반 후속 처리에 의해 제한되며, NPU 계산 용량에 의해 제한되지 않는다는 점이다.

2. 기본 개념과 두 가지 핵심 지표

계산 계획 수립에는 긴 기술 용어 목록이 필요하지 않다. 두 가지 핵심 개념을 구분하면 칩 사양이 오도하는 정보가 되는 것을 막을 수 있다.

칩 공급업체가 광고하는 TOPS 수치는 이론적 최대 계산 성능이다: NPU가 이상적인 실험실 조건 하에서 완전 부하 상태로 달성할 수 있는 최대 처리 능력이다. 제품 설계에는 여유 공간이 필요하므로, 최대 성능을 직접 규격 산정에 사용할 수 없다.

우리는 AI 모델의 계산 부하를 평가하기 위해 GMAC를 사용한다. MAC는 기본적인 곱셈-누적 연산을 의미하며, GMAC는 그러한 연산 10억 회를 나타낸다. 이는 모델 내 계산량을 측정하는 지표이다. 참고로 GMAC은 부하를 측정하는 반면, GMAC/s는 처리량을 측정한다. 더 큰 모델일수록 GMAC 값이 높아진다.

NPU 활용률은 고정된 상수가 아니다. 이는 NPU 용량 중 실제로 유의미한 계산에 사용된 비율을 나타낸다. VIO 프론트엔드나 경량 탐지 모델과 같은 단순한 합성곱 신경망의 경우, 단순 연산자와 칩 수준의 철저한 최적화로 인해 60%–80%의 활용률을 달성할 수 있다. 복잡한 변환 또는 트랜스포머 블록을 포함하는 모델은 반복적인 타일 기반 실행을 필요로 하여 활용률이 20% 이하로 떨어질 수도 있다.

고정된 활용률 40%를 적용하는 것은 부정확한 추정의 주요 원인이다. 해상도 또한 작업량에 직접적인 영향을 미친다. 입력 영상의 가로와 세로 길이를 각각 두 배로 늘리면 면적은 네 배로 증가하고, 동일한 모델 기준 계산량도 대략 네 배로 증가한다.

TOPS는 단지 하드웨어의 이론적 한계치일 뿐이다. 계산량 추정은 모델의 GMAC 작업량에서 출발해야 하며, 개발 보드에서 측정된 실제 성능 데이터로 보정해야 한다. 이론적 최대 성능만으로 칩을 선정해서는 안 된다.

3. 정의 응용 분야 요구사항 및 다중 카메라 스케줄링

계산 요구량을 추정하기 전에, 제품의 작업량을 먼저 구체적으로 파악해야 한다. 핵심 구분점은 여러 카메라가 병렬 추론을 사용하는지, 아니면 시간 분할 방식의 라운드 로빈 추론을 사용하는지 여부이다. 이 선택이 각 카메라의 계산 요구량을 어떻게 결합할지를 결정하기 때문이다.

병렬 모드: 모든 카메라가 동시에 AI 추론을 수행하므로, 계산 요구 사항이 직접 합산된다. 예를 들어, 4대의 카메라를 탑재한 보안 장치가 각 채널에서 초당 30프레임으로 실시간 객체 탐지를 수행할 경우, 4개 채널의 부하가 모두 결합된다.

시간 공유 모드: NPU는 공유 하드웨어 자원으로, 카메라 영상을 순차적으로 처리하며 큐에 따라 채널 하나씩 번갈아 가며 처리한다. 많은 Rockchip RK 플랫폼 기반 다중 카메라 비전 구현이 이 방식을 사용한다.

작업 부하를 정의할 때 다음 정보를 수집한다.

각 카메라의 해상도 및 프레임 속도.

AI 모델 목록: NPU에서 실행되는 모델과 CPU에서 실행되는 후처리 작업.

양자화 정밀도: 임베디드 기기에서는 추론 효율성이 높아 INT8이 주류 선택이다.

트리거 방식: 매 프레임에 대해 지속적인 AI 처리를 수행하는 방식 또는 트리거 조건이 충족될 때만 복잡한 알고리즘이 시작되는 이벤트 기반 작동 방식.

중요: GMAC 모델은 경험에 의한 추정이 아니라 RKNN 또는 ONNX Runtime과 같은 도구를 사용하여 내보내야 합니다. 대규모 YOLO 모델의 워크로드를 기준으로 경량 VIO 네트워크의 계산 요구 사양을 산정하면 계산 자원을 심각하게 과대평가할 수 있습니다.

당사의 MV11은 고성능 Rockchip RK3576 프로세서 기반의 4개 카메라 하드웨어 동기화 비전 및 관성항법 융합 컴퓨팅 플랫폼입니다. 6 TOPS NPU와 4GB LPDDR4 메모리를 탑재했으며, 4개 카메라 간 마이크로초 단위 동기화를 지원합니다. 로봇 인식 및 탐지, VIO, SLAM, 다중 카메라 EGO 데이터 수집 등에 적합합니다. 위에서 설명한 보드 레벨 컴퓨팅, 대역폭, 다중 채널 스케줄링 테스트를 위한 하드웨어 플랫폼으로 활용 가능합니다. 조기 프로젝트 평가용 샘플을 제공하며, 배포를 지원하기 위한 완전한 비전 솔루션도 맞춤 제작 가능합니다. 문의는 [email protected]으로 해 주세요.

4. NPU 계산 성능보다 먼저 성능을 제한하는 일반적인 제약 조건

많은 프로젝트에서 선정 단계에서 NPU TOPS만을 중시하다 보니, 보드 부팅 과정에서 절반 이상의 NPU 용량이 여전히 남아 있음에도 시스템 성능이 따라가지 못하는 상황을 겪는다. 다음 제약 조건들은 임베디드 비전 분야에서 흔히 발생하는 병목 현상이다.

4.1 DDR 메모리 대역폭

AI 추론 중 NPU는 지속적으로 메모리에서 이미지와 모델 가중치를 읽고, 중간 피처 맵을 다시 메모리에 쓴다. DDR 대역폭은 이러한 데이터 전송 속도를 결정한다. 대역폭이 부족하면 계산 능력이 충분한 NPU라도 데이터를 기다려야 하므로 프레임 속도 향상이 불가능해진다. RK 플랫폼 기반 다중 카메라 프로젝트 대부분에서는 NPU 용량의 극소량만 사용되는데도 이미 대역폭이 포화 상태에 이른다.

4.2 메모리 용량

이미지 버퍼, AI 모델 가중치, 중간 특징 맵은 모두 메모리를 소비한다. 여러 채널이 동시에 작동할 경우 메모리 사용량이 급격히 증가한다. 메모리 부족 시 애플리케이션이 충돌할 수 있다. 임베디드 기기는 일반적으로 가상 메모리를 지원하지 않으므로 메모리 부족(OOM) 상황에서 기기가 정지될 수 있다.

4.3 ISP 이미지 사전 처리

카메라가 촬영한 원시 이미지는 자르기, 크기 조정, 색 공간 변환을 필요로 한다. 일부 사전 처리는 ISP 하드웨어에서 수행되지만, 일부는 CPU 리소스를 사용한다. 다중 카메라 획득은 사전 처리 요구량을 증가시키며, NPU가 유휴 상태일 때조차 파이프라인 전반에 지연을 유발할 수 있다.

4.4 전력 소비 및 열 관리

칩의 공식 표기 최대 TOPS는 최대 전력 소비에 해당한다. 대부분의 임베디드 기기는 팬이 없으며, 장시간 동안 NPU를 최대 부하로 유지할 수 없다. 이론적 계산 능력이 높더라도 열 조건이 지속적인 운영에서 활용 가능한 성능을 제한한다.

4.5 연산자 호환성

AI 모델에 NPU가 가속할 수 없는 특수 연산자가 포함된 경우, 해당 연산자는 CPU에서 실행되도록 자동으로 전환된다. CPU에서의 AI 처리는 속도가 느리며, NPU 용량이 충분하더라도 파이프라인을 심각하게 지연시킬 수 있다. 플랫폼을 선택하기 전에 연산자 가속 지원 여부를 반드시 확인해야 한다.

5. 실용적인 계획 수립 워크플로

1. 워크로드 기준치와 작동 모드를 설정한다. AI 파이프라인을 정의한다: 해상도, 프레임 속도, 채널 수, 트리거 전략(지속적 또는 이벤트 기반), 병렬 실행 또는 시간 공유 실행, 모델 목록 및 배포 정밀도. 특히 여러 채널의 스케줄링 방식에 주의한다.

2. 모델 워크로드를 정량화하고 GMAC/s 값을 산출한다. 각 모델에 대해 GMAC/s 값을 도출하는 도구를 사용하며, NPU 가속 계산 부분과 CPU 후처리 부분을 구분하여 산출한다.

3. 실행 효율성을 판단하기 위해 대상 보드에서 측정합니다. RK3576 또는 RK3588과 같은 후보 SoC에서 모델을 플랫폼 형식으로 변환합니다. 프레임당 추론 시간을 측정하여 해당 모델이 해당 NPU에서 실제로 달성하는 처리량을 파악합니다. 이 단계는 논문 상의 추정치와 실제 성능 간 차이를 해소하는 데 가장 중요합니다. 모든 추정치는 일반적인 공식이 아니라 보드 수준 측정 결과를 기준으로 보정되어야 합니다.

4. 다중 채널 워크로드를 통합하고 시스템 병목 현상을 평가합니다. 정상적인 정상 상태 작동뿐 아니라 모든 채널이 동시에 트리거되는 최악의 피크 상황도 함께 검토합니다. DDR 대역폭과 메모리 사용량을 동시에 점검합니다. 많은 RK 다중 카메라 프로젝트에서 계산 능력은 여유가 있으나 DDR 대역폭이 포화 상태에 이르는 경우가 많습니다.

5. 적절한 여유 용량을 확보하고 한계를 설정하세요. 알고리즘이 대체로 고정된 단기 제품의 경우 1.1~1.2의 여유 계수를, 모델 업데이트가 예상되는 제품의 경우 1.3~1.4의 여유 계수를 사용하세요. 여유 용량은 임의의 과다 확보가 아니라, 모델 진화, 피크 상황, 스케줄링 오버헤드를 포괄해야 합니다. BOM 비용 한계와 전력 한계를 동시에 설정하세요.

6. NPU 용량 계획 시 흔히 범하는 다섯 가지 실수

6.1 칩 TOPS 값과 고정된 활용률만으로 산정하기

광고된 TOPS에 고정된 40% 활용률을 적용하면 계산 요구량을 여러 배 과대평가할 수 있으며, 실제 공학적 조건과 크게 벗어날 수 있습니다. 활용률은 모델과 NPU 아키텍처에 따라 크게 달라집니다.

6.2 채널 수를 단순 곱하고 시간 분할을 무시하기

시간 분할 운영 방식에서는 NPU가 채널을 차례로 처리하며, 연산 능력을 재사용한다. 단순히 채널 수에 단일 채널당 연산 요구량을 곱하면 요구 사항을 심각하게 과대평가하게 되어, 과도하게 강력하고 불필요하게 비싼 칩이 될 수 있다.

6.3 NPU 연산 능력 평가 시 DDR 대역폭 무시

멀티카메라 비전 프로젝트에서 대역폭 병목 현상은 연산 병목 현상보다 훨씬 흔하다. NPU는 여전히 상당한 여유 용량을 보유하고 있을 수 있으나, 데이터 전송 속도가 따라가지 못해 프레임 속도가 제한된다. 따라서 멀티카메라 프로젝트에서는 대역폭 평가를 우선적으로 수행해야 한다.

6.4 평균 부하 고려 시 순간적 피크 무시

제품은 대부분 시간 동안 낮은 부하로 작동하되, 모든 카메라가 동시에 AI를 트리거할 때 순간적 피크를 경험할 수 있다. 설계는 이러한 피크를 수용할 수 있어야 하나, 작업 대기열(task queue)을 활용하면 순간적 수요를 완화할 수 있으므로, 칩을 반드시 최대 연산 요구량에 맞춰 크기를 정할 필요는 없다.

6.5 모델 연산만 계산하고 시스템 오버헤드는 무시

많은 추정치는 AI 백본의 GMAC만 계산하고, ISP 전처리, 이미지 복사, CPU 후처리를 무시한다. NPU 용량이 충분하더라도 이러한 오버헤드로 인해 종단 간 지연 시간이 증가하고, 기대되는 프레임 속도를 달성하지 못한다.

7. 플랫폼 선정을 위한 구현 체크리스트

모든 카메라 파라미터(해상도, 프레임 속도, 채널 수)를 나열한다. 채널이 병렬 스케줄링을 사용하는지, 아니면 시간 공유 스케줄링을 사용하는지 확인한다.

각 모델에 대한 GMAC를 산출하고, NPU 연산과 CPU 후처리를 구분한다.

후보 플랫폼에서 단일 모델 추론 시간을 측정하여 실제 실행 효율을 확립한다.

다중 채널 워크로드를 집계하고, 정상 상태 및 최대 부하 조건에서 NPU 연산 활용률을 평가한다.

DDR 대역폭과 메모리 사용량을 측정하여 대역폭이 병목 현상을 일으키는지 판단한다.

모델 연산자를 검증하고, NPU 하드웨어 가속 지원 여부를 확인하여 CPU로의 폴백을 방지한다.

제품 업데이트 로드맵에 따라 계산 여유 용량을 확보하고, BOM 비용 및 전력 제한을 설정합니다.

동시 다중 채널 트리거를 사용해 확장된 스트레스 테스트를 수행합니다. 프레임 속도 변동과 메모리 고갈로 인한 충돌을 점검합니다.

내장형 비전을 위한 NPU 용량 산정은 단순히 TOPS 공식을 적용하는 수학적 계산이 아닙니다. 논문 기반 추정치는 초기 계획 참고 자료일 뿐입니다. 최종 검증은 대상 칩의 개발 보드에서 반드시 수행해야 합니다.

완전한 평가 절차는 다음 순서를 따릅니다: 계산 처리가 병목 현상을 일으키는지 판단 → 병렬 또는 시간 분할 스케줄링을 확인 → 모델의 GMAC를 측정 → DDR 대역폭 평가를 우선적으로 수행 → 보드 수준 테스트를 통해 교정 → 적절한 계산 여유 용량을 확보합니다.

목표는 성능, 전력 소비, 비용 간 균형을 맞추는 것입니다. 최고 피크 NPU TOPS를 추구하기보다는, 해당 작업에 충분한 용량을 선택해야 합니다.

당사의 MV11은 고성능 Rockchip RK3576 프로세서 기반의 4개 카메라 하드웨어 동기화 비전 및 관성항법 융합 컴퓨팅 플랫폼입니다. 6 TOPS NPU와 4GB LPDDR4 메모리를 탑재했으며, 4개 카메라 간 마이크로초 단위 동기화를 지원합니다. 로봇 인식 및 탐지, VIO, SLAM, 다중 카메라 EGO 데이터 수집 등에 적합합니다. 위에서 설명한 보드 레벨 컴퓨팅, 대역폭, 다중 채널 스케줄링 테스트를 위한 하드웨어 플랫폼으로 활용 가능합니다. 조기 프로젝트 평가용 샘플을 제공하며, 배포를 지원하기 위한 완전한 비전 솔루션도 맞춤 제작 가능합니다. 문의는 [email protected]으로 해 주세요.