Как создать устройство с функцией постоянного зрения на базе RV1106

Sep 09, 2026

В автономных IoT-приложениях машинного зрения, работающих от батарей или солнечных фотогальванических систем, устройствам сложно одновременно обеспечить сверхдлительное время ожидания и управляемую в реальном времени связь. Это ключевое узкое место, ограничивающее массовое развертывание проектов наружного экологического мониторинга, общих систем безопасности и автономных промышленных инспекций.

Режим глубокого сна: устройство отключается от сети и приостанавливает службы во время сна. Срок службы батареи отличный, однако облако не может отправлять команды для удалённой инспекции, захвата изображений или конфигурации параметров. Неожиданные события — такие как несанкционированное проникновение, резкое изменение уровня воды или перемещение оборудования — остаются незамеченными, создавая «слепые зоны» мониторинга и препятствуя выполнению требований к эксплуатационной надёжности системы.
Решение непрерывной работы под полной нагрузкой: устройство остаётся подключённым и постоянно записывает видеопоток в высоком разрешении, обеспечивая взаимодействие с облаком в реальном времени и полную регистрацию событий. Однако энергопотребление системы велико, время автономной работы от литиевой батареи ограничено, часты необходимость подзарядки и техническое обслуживание на месте, а эксплуатационные расходы при размещении на улице высоки. Такой подход не подходит для длительной эксплуатации без присмотра.

Чтобы решить эти отраслевые проблемы, Rockchip представила серию SoC RV1106 для компьютерного зрения в приложениях AIoT. Чипы интегрируют процессор CPU, нейропроцессор NPU, процессор обработки изображений ISP и видеокодировщик, что позволяет создавать встраиваемые устройства искусственного интеллекта для задач компьютерного зрения с низким энергопотреблением и невысокой стоимостью. Типовые применения: охранные камеры с питанием от батарей, мониторинг в сельском и лесном хозяйстве, контроль на гидротехнических станциях, а также промышленный контроль без участия оператора.

Спецификации серии RV1106

Функциональный модуль	Архитектурные спецификации и производительность	Инженерная ценность
Процессор CPU и микроконтроллер MCU	Одноядерный 32-разрядный процессор ARM Cortex-A7 с поддержкой NEON и FPU. Имеет кэш-память инструкций объёмом 32 КБ, кэш-память данных объёмом 32 КБ, унифицированный кэш L2 объёмом 128 КБ и независимый микроконтроллер (MCU) с кэшем объёмом 16 КБ. В официальном руководстве частота тактирования не указана; типичная конфигурация SDK — 1,2 ГГц. При гетерогенной планировке основное приложение выполняется на ядре A7, а прерывания в реальном времени с низким энергопотреблением обрабатываются MCU. Во время режима сна ядро A7 может быть отключено, оставив в активном состоянии только MCU. Производительность зависит от стратегии управления энергетическими доменами.	Поддерживает механизм низкопотребляющего сна и пробуждения AOV, обеспечивающий баланс между вычислительной производительностью системы и сроком службы аккумулятора.
НПУ	Аппаратный ускоритель нейронных сетей, поддерживающий смешанную квантование INT4, INT8 и INT16, а также преобразование моделей из TensorFlow, PyTorch, Caffe, TFLite и ONNX-NN. Теоретический пиковый показатель производительности — 1 TOPS. Практическая производительность составляет примерно 0,5 TOPS на RV1106G2, тогда как RV1106G3 обеспечивает полные 1 TOPS. Производительность вывода ограничена ёмкостью памяти, пропускной способностью шины и размером модели.	Выполняет локальный edge-ИИ для обнаружения людей, обнаружения объектов и распознавания лиц. Аппаратное ускорение снижает нагрузку на ЦП и устраняет необходимость в облачных вычислениях.
Isp	Аппаратный ISP с двумя входами MIPI-CSI/LVDS и одним входом DVP, поддерживающий до трёх камер. Функции обработки изображений включают HDR-MGE, 3DNR/2DNR, алгоритмы 3A, LSC, рассеивание тумана и коррекцию дисторсии. RV1106G2 поддерживает разрешение до 5 Мп при 30 кадр/с. RV1106G3 и RV1106 поддерживают до 8 Мп при 15 кадр/с. Частота кадров ограничена пропускной способностью, энергопотреблением и путём кодирования.	Осуществляет предварительную обработку изображений в условиях сложного освещения и выводит высококачественные потоки YUV для кодирования и ИИ-вывода, снижая нагрузку на программную обработку изображений.
Видеокодировщик VENC	Аппаратный движок кодирования, поддерживающий H.264 High Profile, H.265 Main Profile и JPEG, с шестью режимами управления битрейтом и максимальным битрейтом 60 Мбит/с. RV1106G2 поддерживает 5 Мп при 30 кадр/с; RV1106G3 и RV1106 поддерживают до 8 Мп при 15 кадр/с. Захват JPEG поддерживает до 4 Мп при 60 кадр/с с возможностью нескольких выходных потоков.	Аппаратное сжатие освобождает ресурсы ЦП для функций безопасности, таких как многопоточный предпросмотр, локальная запись и захват событий.
Интеллектуальный видеодвижок RKIVE	Специализированный аппаратный блок обработки зрительной информации с поддержкой алгоритмов GMM, Canny, CCL, оптического потока, фильтрации и морфологических операций. Обнаружение движения и сегментация переднего плана выполняются на аппаратном уровне с минимальной загрузкой ЦП. Частота кадров при обработке ограничена выходной частотой ISP.	Реализует аппаратное обнаружение изменения сцены и выделение переднего плана, снижая нагрузку на ЦП при обнаружении изменений изображения в энергосберегающем режиме AOV.
Подсистема памяти	RV1106G2 интегрирует 1 Гб (128 МБ) DDR3L в корпусе SIP. RV1106G3 интегрирует 2 Гб (256 МБ) DDR3L в корпусе SIP. BGA-версия RV1106 поддерживает внешнюю 16-битную память DDR2, DDR3, DDR3L или DDR4 объёмом до 1024 МБ. Объём памяти в версиях G2 и G3 фиксирован и не может быть расширен. Высокое разрешение, работа с несколькими камерами и использование крупных моделей ограничены ёмкостью и пропускной способностью памяти, тогда как BGA-версия обеспечивает гибкий выбор объёма памяти.	Решение SIP устраняет внешние устройства DDR и трассировку на печатной плате, снижая стоимость компонентов (BOM). Версия в корпусе BGA поддерживает многокамерные системы и передовое оборудование машинного зрения, выполняющее сложные алгоритмы.
Управление энергией	Несколько изолированных областей питания поддерживают независимое переключение областей питания и несколько источников перехода в спящий режим и пробуждения. В техническом описании официальные данные по потребляемой мощности отсутствуют. Инженерные измерения показывают примерно 500 мВт при полной функциональной работе и примерно 40 мВт в режиме ожидания AOV. Ранее заявленные оценки — 0,8 Вт и 0,1 Вт — должны быть заменены измерениями, полученными на производственном прототипе.	Поддерживает оценку энергопотребления в режиме выполнения для изделий с питанием от литиевых аккумуляторов и солнечных батарей, а также помогает определить стратегии переключения областей питания для энергоэффективной работы в режиме AOV.
Упаковка	RV1106G2/G3 использует корпус QFN128 размером 12,3 × 12,3 мм с шагом выводов 0,35 мм и рейтингом MSL3. RV1106 использует корпус BGA313 размером 14 × 11 мм с шагом шариков 0,6 мм. Отвод тепла от QFN зависит от полного заземления нижней контактной площадки E-PAD. BGA обеспечивает большее количество внешних выводов, тогда как QFN компактен, но обладает меньшим запасом по тепловым характеристикам.	RV1106G2/G3 подходит для компактных устройств, таких как дверные звонки и небольшие камеры на аккумуляторах. RV1106 ориентирован на масштабируемые многокамерные решения. Конструкция печатной платы должна обеспечивать правильное заземление и отвод тепла.

RV1106G2 (QFN128 / 128 МБ SIP-DDR3L) подходит для маломощных устройств на аккумуляторах, умных дверных звонков и маломощных IP-камер. Поддерживает разрешение до 5 Мп при 30 кадрах в секунду. Маршрутизация внешней памяти DDR не требуется, что упрощает проектирование печатной платы и снижает стоимость системного BOM. Из-за ограничений пропускной способности памяти практическая производительность NPU составляет примерно 0,5 TOPS, что достаточно для лёгких задач обнаружения объектов и обнаружения людей.
RV1106G3 (QFN128 / 256 МБ SIP-DDR3L) также не требует внешней памяти DDR. Он обеспечивает полную производительность NPU — 1 ТОПС — и поддерживает захват и кодирование изображений с разрешением до 8 МП при частоте 15 кадров в секунду. Подходит для промышленных сканеров, систем распознавания на основе ИИ высокого разрешения и продуктов DMS, работающих в широком диапазоне температур. Обладает наилучшим соотношением цены и производительности в серии.
RV1106 (BGA313 с внешней памятью DDR) использует корпус BGA и требует полноценной схемы питания и трассировки для памяти DDR. Ёмкость памяти может быть настроена по требованию. Подходит для многоэкранного и высокопроизводительного оборудования для умных розничных сетей, однако проектирование печатной платы сложнее, а общая стоимость системы выше.

Подход проектирования с длительным временем ожидания и постоянным подключением

Работа в течение всего дня с длительным временем ожидания основана на функции AOV (Always on Video), нескольких изолированных областях питания и механизме быстрого пробуждения. Конструкция аппаратного обеспечения должна соответствовать абсолютным максимальным значениям и рекомендуемым условиям эксплуатации микросхемы.

Режим AOV и многоуровневое управление питанием: AOV объединяет непрерывный захват кадров с низкой частотой кадров с аппаратным триггером на основе ИИ для выполнения требований к непрерывному мониторингу устройств, работающих от аккумулятора. Во время длительного ожидания микроконтроллер (MCU) управляет датчиком и буфером изображений, в то время как процессор Cortex-A7 и нейропроцессор (NPU) переходят в режим глубокого сна. Остаются активными только критически важные блоки питания, что обеспечивает захват и кодирование кадров с частотой 1 кадр в секунду. При обнаружении человека, транспортного средства или другого объекта аппаратное прерывание пробуждает весь чип и переводит систему в режим записи с нормальной частотой кадров и выполнения ИИ-выводов.

Режим работы	Основное состояние	Обычная мощность	Работа аккумулятора (5200 мА·ч)
Режим ожидания AOV	RISC-V MCU работает; A7/NPU находятся в спящем режиме	Примерно 40 мВт (инженерная справочная величина)	Примерно 14 дней без солнечного света (справочная величина для прототипа)
Пробуждение по событию	A7/NPU работают на полной скорости с кодированием при нормальной частоте кадров	Динамическая нагрузка	Зависит от частоты срабатывания триггеров событий
Постоянное запись	Все модули активны	Динамическая мощность	Рекомендуется внешнее питание

Полный конвейер обработки визуальных данных и ИИ-вывода

Архитектура прямого аппаратного подключения и медиа-фреймворк MPP: путь визуальных данных RV1106 — это VI (видеоввод) — ISP — VENC/NPU через прямое аппаратное соединение. Медиа-фреймворк MPP напрямую связывает канал VI с VENC/NPU, снижая количество копий в ОЗУ ЦП и нагрузку на шину.

Аппаратные ресурсы интерфейса видеоввода:

Два интерфейса MIPI-CSI DPHY версии 1.2, каждый с двумя линиями по 1,5 Гбит/с на линию. Их можно объединить в четырёхлинейный интерфейс.
Один интерфейс DVP с максимальной тактовой частотой 150 МГц, поддерживающий стандарты BT.601, BT.656 и BT.1120.

После предварительной обработки изображения ISP выводит данные в формате YUV. VENC поддерживает все шесть режимов управления битрейтом, указанных в техническом описании.

Варианты загрузочной памяти: SPI Flash, eMMC 4.51 и SD/MMC. Прошивку можно загрузить через USB или UART.

Встроенная память: 256 КБ общей SRAM, 8 КБ PMU-SRAM, 20 КБ Boot ROM и 8 Кбит OTP.

2 Цепочка инструментов RKNN и развертывание квантованных моделей: NPU поддерживает смешанную квантизацию INT4, INT8 и INT16, а RKNN-Toolkit2 выполняет преобразование моделей. Квантизация INT8 обеспечивает баланс между точностью и скоростью, а INT4 уменьшает размер модели. Показатель частоты обнаружения объектов в PaddleDetection — 25 кадров в секунду — получен в ходе инженерного тестирования. Для развертывания требуется загрузка модели RKNN в пул памяти DDR и вызов интерфейса вывода через API на C/C++.

3 Оптимизация легковесной библиотеки для компьютерного зрения: встроенные системы используют упрощённую версию OpenCV-mobile с удалёнными компонентами графического интерфейса для уменьшения объёма и ускорения запуска. Гибридная архитектура, объединяющая предварительную обработку на основе легковесной библиотеки и вывод на NPU, снижает нагрузку на процессор и соответствует ограничениям по энергопотреблению устройств с длительным режимом ожидания.

Сцена	Основной модуль	Фреймворк или инструмент разработки	Оптимизация производительности	Аппаратное ограничение
Захват изображения	VI + MIPI-CSI/DVP	MPP SDK	Привязка аппаратных путей для снижения накладных расходов на копирование данных в памяти	Поддержка до трёх синхронизированных входов датчиков. RV1106G2 поддерживает разрешение до 5 Мп при 30 кадрах в секунду.
Улучшение изображения	Isp	Конфигурация регистра аппаратного обеспечения	Включение аппаратного ускорения обработки изображений, например HDR и 3DNR	Аппаратный ISP поддерживает временное мультиплексирование до четырёх датчиков.
Кодирование видео	VENC	API VENC MPP	Настройка шести режимов управления битрейтом и включение интеллектуального кодирования	Максимальная скорость кодирования — 60 Мбит/с.
Вывод искусственного интеллекта	НПУ	RKNN-Toolkit2	Использование смешанной квантования INT4, INT8 и INT16	Ресурсы памяти ограничены конфигурацией встроенной SIP DDR или внешней DDR.
Обработка изображений	Процессор Cortex-A7	OpenCV-mobile (упрощённая версия)	Удаление ненужных программных модулей для снижения нагрузки на систему	В режиме сна AOV приоритетным является отключение питания процессора.

Постоянная связь и инженерная оптимизация на уровне системы

1 архитектура двойного режима сети и интеллектуальная стратегия кодирования

Аппаратные ресурсы: встроенный в чип Ethernet-контроллер MAC и PHY со скоростью 10/100 Мбит/с (интерфейс RMII). Интерфейс SDIO 3.0 поддерживает внешние модули Wi-Fi и Bluetooth, интегрирован USB 2.0 OTG. Периферийные ресурсы включают пять интерфейсов I2C, два интерфейса SPI, шесть интерфейсов UART и аудиоинтерфейс I2S.

Ethernet обеспечивает надёжную проводную основу. Внешний модуль Wi-Fi 6 и Bluetooth 5.2 может быть подключён через интерфейс SDIO для гибкой беспроводной настройки. Отчёт о состоянии «пульса» и автоматическое повторное подключение поддерживают доступность сетевого соединения.

Smart Encoding 2.0 — это программный алгоритм пакета SDK верхнего уровня, поддерживающий адаптивную коррекцию битрейта. По сравнению с традиционной работой при фиксированном битрейте (CBR) он позволяет снизить потребление пропускной способности и требования к объёму хранилища.

Аудиоподсистема интегрирует аппаратный аудиокодек с двухканальным 24-битным АЦП и одноканальным ЦАП. Типичное отношение сигнал/шум составляет 90 дБ; поддерживаются как дифференциальные, так и одноконечные входы микрофона.

2 Оптимизация и аутентификация безопасности в системе Linux

Для сборки встраиваемой системы Linux используется Buildroot, что позволяет оптимизировать ядро и сервисы приложений, а также поддерживать обновления прошивки по технологии OTA.

Чип включает в себя полноценный аппаратный модуль безопасности с аппаратным криптографическим блоком, поддерживающим алгоритмы SHA-1, SHA-256, AES, DES, TDES, RSA, ECC и SM2, а также генератор истинно случайных чисел и защищённую одноразовую память (OTP). Поддерживается технология TrustZone и безопасная загрузка. Эти функции обеспечивают шифрование прошивки, безопасное хранение ключей и аппаратно-программную изоляцию областей безопасности для защиты конфиденциальности в продуктах безопасности.

Типовые применения и руководство по интеграции решений

Применение	Ключевое требование	Рекомендуемая конфигурация	Ключевые интерфейсы	Аппаратное ограничение
IP-камера с низким энергопотреблением или умный дверной звонок	Длительный режим ожидания и ночное видение	RV1106G2 SIP с 1 Гб DDR3L	MIPI-CSI SDIO Wi-Fi, RTC	Максимум 5 Мп при 30 кадрах в секунду
Промышленный оптический сканер штрих-кодов	Съёмка с высокой скоростью и запуск захвата по триггеру	RV1106G3 SIP с 2 ГБ DDR3L	MIPI-CSI, UART, GPIO	Максимум 8 МП при 15 кадр/с
Умная розничная торговля или умные полки	Анализ изображений с нескольких камер	RV1106 BGA Внешняя оперативная память DDR	Два интерфейса MIPI-CSI, Ethernet	Требуется строгий дизайн источника питания DDR
Система мониторинга водителя в салоне (DMS) или видеорегистратор на приборной панели (Dashcam)	Работа в широком температурном диапазоне	RV1106G3	MIPI/DVP, Ethernet, USB OTG	Температура окружающей среды: от −20 до +85 °C; температура перехода: ≤125 °C

Мы предлагаем аппаратные решения на базе RV1106 — проектирование печатной платы (PCBA), а также полностью адаптированные решения для задач компьютерного зрения, включая разработку принципиальных схем и топологии печатных плат, подбор компонентов, адаптацию драйверов низкого уровня, перенос и отладку алгоритмов, а также интеграцию полной системы. По вопросам выбора чипов, проектирования аппаратного обеспечения, переноса программного обеспечения, оптимизации производительности или выполнения проектов по индивидуальному заказу обращайтесь к нам за технической поддержкой: [email protected]