Сколько оперативной памяти DDR требуется многофункциональной системе ИИ-видения с несколькими камерами? (с таблицей выбора RK3576)

С быстрым развитием приложений ИИ-видения решения с несколькими камерами (стереокамеры, четырёхкамерные системы и даже системы с большим числом каналов) широко применяются в таких областях, как сбор данных, системы видеонаблюдения, промышленный контроль, восприятие роботами и вычисления на периферии. При выборе аппаратного обеспечения многие проекты попадают в типичную ловушку: сосредотачиваются исключительно на вычислительной мощности чипа, игнорируя конфигурацию памяти. В результате возникают такие проблемы, как потеря кадров, задержки при ИИ-выводах и сбои системы.

Всегда ли чем больше объём DDR-памяти, тем лучше? Да — с точки зрения производительности и стабильности. Однако недостатки очевидны: высокая стоимость, особенно учитывая недавний резкий рост цен на модули DDR. Поэтому баланс между стоимостью и реальными требованиями проекта становится критически важным при выборе решения.

Рассмотрим наиболее распространённую ошибку при определении объёма DDR: использование памяти может казаться низким в обычных условиях, однако оно способно резко возрасти до пиковых значений при одновременном выполнении нескольких задач, что напрямую вызывает сбои системы. Многие команды используют среднее потребление памяти для оценки аппаратного обеспечения. Возьмём в качестве примера широко применяемый датчик AR0234: один 1080P-камерный канал потребляет умеренное количество памяти в режиме простоя. Тем не менее при выполнении полного конвейера — захват изображения, обработка в ISP, ИИ-вывод и кодирование — пиковое потребление памяти на канал может достигать десятков мегабайт. Для 4K-камеры пиковое потребление на канал может превысить 100 МБ. Даже обычный HTTP-запрос потребляет несколько мегабайт на соединение. Каждый из этих отдельных расходов выглядит незначительным, однако их суммарное значение быстро растёт при одновременной активации нескольких камер и задач. Это может привести к исчерпанию памяти (OOM — Out-of-Memory), в результате чего процессы будут принудительно завершены, а система — выведена из строя.

Где расходуется память в многокамерных системах ИИ-видения?

Память на устройствах компьютерного зрения с вычислениями на периферии используется не только моделями искусственного интеллекта. Она совместно используется для захвата изображений, предварительной обработки, вывода ИИ, системных служб и рабочих нагрузок приложений. Накладные расходы на память возрастают с каждым дополнительным каналом камеры.

1. Буферы изображений (крупнейший источник накладных расходов) Сырые изображения, кадры в формате YUV и масштабированные кадры, получаемые от каждой камеры, занимают память. Для датчика AR0234, работающего в режиме 1080P@30 кадров/с, один кадр YUV занимает несколько мегабайт. Чтобы предотвратить пропуск кадров, система поддерживает кольцевые буферы из нескольких кадров, что дополнительно увеличивает объём используемой памяти. Генерация нескольких вариантов изображений (оригинал, эскиз, обрезанные кадры) создаёт дополнительные буферы кадров. При одновременной работе нескольких камер объём потребляемой памяти возрастает пропорционально числу камер.

2. Накладные расходы ISP и предварительной обработки изображений ISP является независимым аппаратным ускорителем, выполняющим уменьшение шума, коррекцию цвета, коррекцию искажений, вращение, обрезание и конверсию формата. Интернет-провайдер содержит только ограниченный кэш на чипе без большого объема памяти. Поэтому для многих операций необходимо выделять временные буферы в ДДР. Больше каналов камер означает более высокую нагрузку на работу интернет-провайдеров и более высокие требования к емкости DDR.

3.Память для моделирования ИИ ИИ-свод поглощает память в двух частях. Во-первых, это вес модели: большие параметры модели приводят к большему потреблению памяти. К счастью, весы загружаются один раз при инициализации модели; их память не увеличивается с увеличением количества каналов камеры или сценариев во время выполнения.

Не затрагивается ли память во время фазы выполнения вывода? Совершенно нет. Это приводит нас ко второму компоненту: промежуточным буферам признаков, генерируемым во время вывода. Каждый канал камеры требует собственного вычислительного буфера, что увеличивает общий объём используемой памяти. Синхронизированный ИИ-вывод по нескольким камерам требует нескольких независимых вычислительных буферов. Следовательно, чем больше каналов, тем выше накладные расходы памяти на буферы вывода.

4. Накладные расходы системы, драйверов и промежуточного программного обеспечения Возьмём в качестве примера наше решение для машинного зрения RK3576. Базовая системная память используется ядром Linux, драйверами мультимедиа RK, мультимедийной платформой RKMPP, драйверами NPU, системными журналами и запущенными процессами. При развертывании нескольких камер мультимедийные платформы и кодирование видео (запись в форматах H.264 / H.265) создают значительную дополнительную нагрузку на память. Включение многоканального кодирования и записи резко усиливает давление на память.

Важное примечание: речь идёт о рабочей памяти (DDR RAM), а не о хранилище eMMC. eMMC служит только для хранения закодированных видеофайлов.

5.Применение — Бизнес-память уровня приложения Логика приложения, включая анализ результатов вывода, отслеживание нескольких объектов, передачу данных, локальное кэширование и сохранение снимков, потребляет память. Например, алгоритмы отслеживания хранят данные целей за несколько кадров. Увеличение числа камер и отслеживаемых объектов приводит к росту объёмов наборов данных и повышению потребления памяти на уровне приложения.

Практическая производительность памяти на платформе RK3576

RK3576 — это популярный отечественный процессор искусственного интеллекта для граничных вычислений с производительностью NPU до 6 TOPS, хорошо подходящий для развертывания систем компьютерного зрения с несколькими камерами. В нашей компании имеется несколько зрелых серийных продуктов, поддерживающих от 1 до 6 каналов камер для удовлетворения различных проектных требований. Стандартной конфигурацией серийного производства является 4 ГБ DDR; также поддерживаются альтернативные объёмы DDR для разных рабочих нагрузок.

Приведённая ниже таблица применима к распространённым на рынке датчикам камер с разрешением от 1080p до 4K:

Если вы не уверены в подходящей конфигурации памяти, свяжитесь с [email protected]. Мы проведём индивидуальную оценку решения на основе количества каналов камер, разрешения, бизнес-логики и рабочей нагрузки в режиме выполнения.