Многие встраиваемые устройства, включая роботов, умные камеры и промышленные терминалы машинного зрения, сегодня используют NPU для выполнения алгоритмов ИИ-зрения. NPU — это аппаратный блок внутри чипа, предназначенный специально для вывода моделей ИИ.
При выборе чипа многие команды сначала обращают внимание на его рейтинг NPU в TOPS и предполагают, что более высокое число означает более мощный чип. На практике при разработке продукта возникают две типичные проблемы:
Первая — недостаточная вычислительная мощность. Устройство работает с низкой частотой кадров, видео прерывается, кадры теряются при одновременной работе нескольких камер, а распознавание ИИ может давать сбои.
Во-вторых, избыточная вычислительная мощность. Чип дорогостоящий, потребляет больше энергии и выделяет значительное количество тепла. Неиспользуемая вычислительная мощность снижает рентабельность.
Ключевой инженерный аспект заключается в том, что во многих проектах встраиваемого машинного зрения производительность ограничена передачей изображений, пропускной способностью памяти или последующей обработкой на ЦП, а не вычислительной мощностью НЕП.
Планирование вычислительных ресурсов не требует длинного перечня технических терминов. Различение двух ключевых понятий помогает избежать вводящей в заблуждение интерпретации спецификаций чипов.
Значение TOPS, объявленное производителями чипов, — это теоретическая пиковая вычислительная производительность: максимальная вычислительная мощность, которую НЕП может достичь при полной загрузке в идеальных лабораторных условиях. В конструкциях изделий требуется запас прочности, поэтому пиковую производительность нельзя напрямую использовать для расчёта требуемых ресурсов.
My ispol’zuyem GMAC dlya otsenki vychislitel’noy nagruzki na model’ IS. MAC — eto osnovnaya operatsiya umnozheniya s nakopleniem, a GMAC predstavlyaet soboy odin milliard takikh operatsiy. On izmeryaet ob”yom vychisleniy v modeli. Imeyte v vidu, chto GMAC izmeryaet nagruzku, togda kak GMAC/s izmeryaet proizvoditel’nost’. Bol’shie modeli imeyut bol’shie znacheniya GMAC.
Ispol’zovaniye NPU ne yavlyaetsya postoyannoy velichinoy. Ono predstavlyaet soboy dopustimuyu dolyu moshchnosti NPU, ispol’zuemuyu dlya effektivnykh vychisleniy. Dlya prostykh svyortochnykh setey, takikh kak peredniye chasti VIO ili oblegchennyye modeli obnaruzheniya, prostyye operatory i kachestvennaya optimizatsiya chipa pozvolyayut dostignut’ urovnya ispol’zovaniya 60–80 %. Modeli, soderzhashchiye slozhnyye preobrazovaniya ili bloki Transformer, mogut trebovat’ mnogokratnogo vypolneniya v fasetakh (tiled execution), chto snizhayet urovnya ispol’zovaniya do 20 % ili dazhe men’she.
Применение фиксированного коэффициента использования в размере 40 % является одной из главных причин неточных оценок. Разрешение также напрямую влияет на вычислительную нагрузку: удвоение как ширины, так и высоты входного изображения увеличивает его площадь в четыре раза и приблизительно в четыре раза повышает объём вычислений для той же модели.
TOPS — это лишь теоретический предел аппаратных возможностей. Начинайте расчёты вычислительной нагрузки с показателя GMAC вашей модели, а затем скорректируйте их на основе измерений, проведённых на плате разработки. Не выбирайте чип исключительно по его теоретической пиковой производительности.
Прежде чем оценивать вычислительные требования, составьте подробную карту рабочей нагрузки продукта. Ключевое различие заключается в том, используются ли несколько камер для параллельного вывода или для вывода с временным разделением по принципу «кругового опроса», поскольку именно от этого зависит способ суммирования их вычислительных требований.
Параллельный режим: все камеры одновременно выполняют ИИ-вывод, поэтому их вычислительные требования суммируются напрямую. Например, устройство безопасности с четырьмя камерами, выполняющее детекцию объектов в реальном времени со скоростью 30 кадров в секунду на каждом канале, объединяет нагрузку всех четырёх каналов.
Режим разделения по времени: NPU — это общий аппаратный ресурс, который последовательно обрабатывает изображения с камер, обрабатывая один канал за раз по мере их поступления в очередь. Многие реализации многокамерных систем машинного зрения на платформах Rockchip RK используют именно такой подход.
Соберите следующую информацию при определении рабочей нагрузки:
Разрешение и частота кадров для каждой камеры.
Список ИИ-моделей: какие модели выполняются на NPU, а какие задачи постобработки — на CPU.
Точность квантования: INT8 является распространённым выбором для встраиваемых устройств благодаря более высокой эффективности вывода.
Метод запуска: непрерывная ИИ-обработка каждого кадра или событийно-управляемая работа, при которой сложные алгоритмы запускаются только при выполнении условия срабатывания.
Важно: экспортируйте модель GMAC с помощью таких инструментов, как RKNN или ONNX Runtime, а не оценивайте её на основе опыта. Использование рабочей нагрузки крупной модели YOLO для расчёта требований к вычислительным ресурсам лёгкой сети VIO может привести к значительному завышению этих требований.
Наша платформа MV11 — это аппаратно-синхронизированная четырёхкамерная система визуального и инерциального наведения на базе высокопроизводительного процессора Rockchip RK3576. В неё встроены НПУ мощностью 6 TOPS и 4 ГБ оперативной памяти LPDDR4; обеспечивается синхронизация на уровне микросекунд между всеми четырьмя камерами. Типичные сферы применения: распознавание и обнаружение объектов роботами, VIO, SLAM и сбор многокамерных EGO-данных. Платформа подходит в качестве аппаратной основы для вышеупомянутых тестов на вычислительную мощность на уровне платы, пропускную способность и многоканальное планирование задач. Образцы доступны для ранней оценки проектов; также возможна полная кастомизация решений для поддержки развёртывания. Свяжитесь с нами по адресу [email protected].
Многие проекты при выборе ориентируются исключительно на показатель TOPS NPU, а затем на этапе ввода платы в эксплуатацию обнаруживают, что система не справляется с нагрузкой, несмотря на то, что более половины вычислительной мощности NPU остаётся свободной. Ниже перечислены типичные узкие места в задачах встраиваемого машинного зрения.
Во время выполнения ИИ-выводов NPU непрерывно считывает изображения и веса модели из памяти, а также записывает промежуточные карты признаков обратно в память. Пропускная способность DDR определяет скорость этих передач. При её недостатке даже NPU с избыточными вычислительными возможностями вынуждена ожидать поступления данных, что препятствует повышению частоты кадров. В большинстве многокамерных проектов на платформах RK пропускная способность памяти достигает предела при использовании лишь небольшой доли вычислительных ресурсов NPU.
Буферы изображений, веса моделей ИИ и промежуточные карты признаков потребляют память. Использование памяти значительно возрастает при одновременной работе нескольких каналов. Недостаток памяти может привести к аварийному завершению приложения. Встроенные устройства, как правило, не имеют виртуальной памяти, поэтому условие нехватки памяти (OOM) может вызвать остановку устройства.
Сырые изображения, захваченные камерами, требуют обрезки, масштабирования и преобразования цветового пространства. Часть предварительной обработки выполняется аппаратно в ISP, а часть — с использованием ресурсов ЦП. Многокамерный захват увеличивает нагрузку на предварительную обработку и может вносить задержки во всём конвейере, даже если NPU находится в режиме простоя.
Заявленная пиковая производительность чипа в TOPS соответствует пиковому потреблению мощности. Большинство встроенных устройств не оснащены вентиляторами и не могут поддерживать полную загрузку NPU в течение длительного времени. Даже при высокой теоретической вычислительной мощности тепловые условия ограничивают объём ресурсов, доступных для продолжительной работы.
Если в модели искусственного интеллекта присутствуют специальные операторы, которые не поддерживаются ускорением на NPU, они выполняются на ЦП. Обработка ИИ на ЦП происходит медленно и может серьёзно замедлить конвейер, даже если ресурсы NPU достаточны. Перед выбором платформы убедитесь в поддержке ускорения каждого оператора.
1. Определите исходный уровень рабочей нагрузки и режим работы. Опишите конвейер ИИ: разрешение, частоту кадров, количество каналов, стратегию срабатывания (непрерывная или событийная), параллельное или чередующееся выполнение, список моделей и точность развёртывания. Особое внимание уделите расписанию нескольких каналов.
2. Количественно оцените рабочие нагрузки моделей и экспортируйте показатель GMAC/с. Используйте инструменты для экспорта GMAC/с по каждой модели, отдельно указав вычисления, ускоренные на NPU, и постобработку на ЦП.
3. Проведите измерения на целевой плате для определения эффективности выполнения. Преобразуйте модели в формат платформы на потенциальных SoC, таких как RK3576 или RK3588. Измерьте время вывода (inference time) на кадр, чтобы определить фактическую пропускную способность этой модели на данном NPU. Это наиболее важный этап для устранения расхождений между оценками, приведёнными в научных публикациях: все оценки должны быть скорректированы на основе измерений на уровне платы, а не на основе обобщённых формул.
4. Объедините рабочие нагрузки нескольких каналов и проанализируйте системные узкие места. Оцените как нормальную установившуюся работу, так и наихудший пиковый случай, когда все каналы активируются одновременно. Одновременно проверьте пропускную способность DDR и использование памяти. Во многих проектах RK с несколькими камерами пропускная способность исчерпывается, в то время как вычислительные ресурсы остаются свободными.
5. Зарезервируйте достаточный запас мощности и установите ограничения. Используйте коэффициент 1,1–1,2 для краткосрочных продуктов с в основном фиксированными алгоритмами и коэффициент 1,3–1,4 для продуктов, которым предстоит получать обновления моделей. Запас мощности должен покрывать эволюцию моделей, пиковые сценарии и накладные расходы планирования, а не произвольное избыточное резервирование. Устанавливайте ограничения по стоимости BOM и потребляемой мощности одновременно.
6.1 Использование только показателя TOPS чипа и фиксированного коэффициента загрузки
Применение фиксированного коэффициента загрузки 40 % к заявленному значению TOPS может привести к завышению требований к вычислительной мощности в несколько раз и значительно отклониться от реальных инженерных условий. Коэффициент загрузки существенно различается в зависимости от моделей и архитектур NPU.
6.2 Умножение на количество каналов с игнорированием временного разделения
При работе с разделением времени НПО последовательно обрабатывает каналы, а его вычислительные ресурсы используются повторно. Простое умножение количества каналов на вычислительные требования одного канала может сильно завысить оценку потребностей, что приведёт к избыточно мощному и неоправданно дорогому чипу.
6.3 Оценка вычислительных возможностей НПО без учёта пропускной способности DDR
Узкие места по пропускной способности встречаются значительно чаще, чем узкие места по вычислительным возможностям в проектах машинного зрения с несколькими камерами. У НПО может оставаться значительный резерв вычислительной мощности, однако передача данных не успевает за обработкой, что ограничивает частоту кадров. В проектах с несколькими камерами оценка пропускной способности должна проводиться в первую очередь.
6.4 Учёт средней нагрузки без учёта кратковременных пиков
Продукт может большую часть времени работать при низкой нагрузке, но испытывать кратковременные пики, когда все камеры одновременно запускают ИИ-обработку. Конструкция должна обеспечивать работу в таких пиковых режимах, однако использование очереди задач позволяет сгладить кратковременные всплески нагрузки, поэтому чип не обязательно должен быть рассчитан непосредственно на пиковую вычислительную нагрузку.
6.5 Учёт только вычислений модели и игнорирование системных накладных расходов
Многие оценки учитывают только GMAC вычислительного ядра ИИ и игнорируют предварительную обработку в ISP, копирование изображений и постобработку на ЦП. Даже при достаточной вычислительной мощности НПУ эти накладные расходы увеличивают суммарную задержку и препятствуют достижению ожидаемой частоты кадров.
Перечислите все параметры камер: разрешение, частоту кадров и количество каналов. Уточните, используют ли каналы параллельное или временно разделяемое планирование.
Экспортируйте значение GMAC для каждой модели и отделяйте вычисления на НПУ от постобработки на ЦП.
Измерьте время вывода одной модели на рассматриваемых платформах, чтобы определить фактическую эффективность выполнения.
Объедините рабочие нагрузки нескольких каналов и оцените загрузку вычислительных ресурсов НПУ в условиях стационарного режима и пиковой нагрузки.
Измерьте пропускную способность DDR и объём используемой памяти, чтобы определить, является ли пропускная способность узким местом.
Проверьте поддержку операторов моделей и убедитесь в наличии аппаратного ускорения на НПУ, чтобы избежать переключения на ЦП.
Резервировать вычислительные ресурсы с учётом дорожной карты обновлений продукта и устанавливать ограничения по стоимости BOM и потребляемой мощности.
Проводить расширенные стресс-тесты с одновременным срабатыванием триггеров по нескольким каналам. Проверять вариации частоты кадров и сбои, вызванные нехваткой оперативной памяти.
Определение ёмкости NPU для встроенных систем машинного зрения — это не простое математическое вычисление по формуле TOPS. Оценки на бумаге служат лишь ориентиром для раннего планирования. Окончательная валидация должна выполняться на плате разработки целевого чипа.
Полная оценка выполняется в следующей последовательности: определить, является ли вычислительная мощность узким местом → подтвердить наличие параллельного или временно разделённого планирования → измерить GMAC модели → приоритизировать оценку пропускной способности DDR → откалибровать результаты с помощью тестирования на уровне платы → зарезервировать соответствующий резерв вычислительных ресурсов.
Цель состоит в достижении баланса между производительностью, энергопотреблением и стоимостью. Следует выбирать достаточную ёмкость для решения задачи, а не стремиться к постоянно растущим пиковым значениям TOPS NPU.
Наша платформа MV11 — это аппаратно-синхронизированная четырёхкамерная система визуального и инерциального наведения на базе высокопроизводительного процессора Rockchip RK3576. В неё встроены НПУ мощностью 6 TOPS и 4 ГБ оперативной памяти LPDDR4; обеспечивается синхронизация на уровне микросекунд между всеми четырьмя камерами. Типичные сферы применения: распознавание и обнаружение объектов роботами, VIO, SLAM и сбор многокамерных EGO-данных. Платформа подходит в качестве аппаратной основы для вышеупомянутых тестов на вычислительную мощность на уровне платы, пропускную способность и многоканальное планирование задач. Образцы доступны для ранней оценки проектов; также возможна полная кастомизация решений для поддержки развёртывания. Свяжитесь с нами по адресу [email protected].
Свежие новости2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
