Comment concevoir un dispositif de vision toujours actif avec le RV1106

Dans les applications IoT de vision sans surveillance, alimentées par des batteries ou des systèmes photovoltaïques solaires, il est difficile pour les dispositifs d’atteindre à la fois une autonomie en veille ultra-longue et une connectivité contrôlable en temps réel. Il s’agit d’un goulot d’étranglement clé qui limite le déploiement à grande échelle de projets de surveillance environnementale extérieure, de sécurité générale et d’inspection industrielle sans surveillance.

• Solution de veille profonde : le dispositif se déconnecte du réseau et suspend ses services pendant la phase de veille. L’autonomie de la batterie est excellente, mais le cloud ne peut pas émettre de commandes pour une inspection à distance, une capture d’image ou une configuration de paramètres. Des événements soudains tels qu’une intrusion non autorisée, une variation brutale du niveau d’eau ou un déplacement d’équipement ne peuvent pas être détectés, créant ainsi des zones aveugles de surveillance et empêchant le système de répondre aux exigences de fiabilité opérationnelle.
• Solution continue en charge complète : L’appareil reste connecté en permanence et capture continuellement des vidéos haute définition, prenant en charge l’interaction en temps réel avec le cloud et l’enregistrement intégral des événements. Toutefois, la consommation électrique du système est élevée, l’autonomie de la batterie au lithium est courte, les recharges et la maintenance sur site sont fréquentes, et les coûts d’exploitation pour un déploiement en extérieur sont élevés. Cette approche n’est pas adaptée à un fonctionnement non surveillé sur une longue période.

Pour répondre à ces défis sectoriels, Rockchip a lancé la série de SoC RV1106 dédiée au traitement de la vision pour les applications AIoT. Ces puces intègrent une unité centrale (CPU), une unité de traitement neuronale (NPU), un processeur d’image (ISP) et un moteur de codage/décodage vidéo, afin de permettre le développement d’appareils embarqués intelligents à faible consommation et à coût maîtrisé. Leurs domaines d’application comprennent les caméras de sécurité alimentées par batterie, la surveillance agricole et forestière, la surveillance des stations hydrauliques, ainsi que l’inspection industrielle non surveillée.

Spécifications de la série RV1106

• Le RV1106G2 (QFN128 / DDR3L intégré de 128 Mo) convient aux dispositifs à faible consommation alimentés par batterie, aux sonnettes intelligentes et aux IPC à faible puissance. Il prend en charge jusqu’à 5 mégapixels à 30 images par seconde. Le routage d’une mémoire DDR externe n’est pas nécessaire, ce qui simplifie la conception du circuit imprimé et réduit le coût global de la nomenclature (BOM). En raison des limites de bande passante mémoire, les performances pratiques du NPU sont d’environ 0,5 TOPS, ce qui convient à la détection d’objets légers et à la détection de personnes.
• RV1106G3 (QFN128 / 256 Mo SIP-DDR3L) ne nécessite pas non plus de DDR externe. Il fournit l’intégralité des 1 TOPS de performances du NPU et prend en charge la capture et le codage d’images jusqu’à 8 MP à 15 images par seconde. Il convient aux applications de numérisation industrielle, à la reconnaissance IA haute résolution et aux produits DMS fonctionnant dans des plages de température étendues. Il offre le meilleur rapport prix-performance global de la série.
• RV1106 (BGA313 avec DDR externe) utilise un boîtier BGA et requiert une conception complète de l’alimentation et du routage DDR. La capacité mémoire peut être configurée selon les besoins. Il convient aux équipements de vision intelligents pour la grande distribution dotés de plusieurs caméras et nécessitant une bande passante élevée, bien que la conception du circuit imprimé soit plus complexe et que le coût total du système soit plus élevé.

Approche de conception « longue veille » et « toujours connecté »

Un fonctionnement continu sur toute la journée avec une longue durée de veille repose sur la fonction AOV (« Always on Video »), sur plusieurs domaines d’alimentation isolés et sur un mécanisme de réveil rapide. La conception matérielle doit respecter strictement les valeurs maximales absolues et les conditions de fonctionnement recommandées par le fabricant de la puce.

Mode AOV et planification multi-niveaux de l’alimentation : l’AOV combine une capture continue à faible fréquence d’images avec un déclenchement matériel d’événements basé sur l’intelligence artificielle, afin de répondre aux exigences de surveillance continue des dispositifs alimentés par batterie. En veille prolongée, l’unité de contrôle microprogrammable (MCU) gère le capteur et la mémoire tampon d’images, tandis que le processeur Cortex-A7 et le processeur neuronal (NPU) entrent en veille profonde. Seuls les domaines d’alimentation essentiels restent actifs, permettant ainsi une capture et un codage à faible fréquence d’images (1 image par seconde). Lorsqu’une personne, un véhicule ou tout autre objet cible est détecté, une interruption matérielle réveille l’intégralité de la puce et bascule le système vers l’enregistrement à fréquence d’images normale et l’inférence IA.

Pipeline complet de traitement des données visuelles et d’inférence IA

• Architecture matérielle à liaison directe et cadre multimédia MPP : le chemin de données visuelles RV1106 est VI (entrée vidéo) – ISP – VENC/NPU via une connexion matérielle directe. Le cadre multimédia MPP lie directement le canal VI au VENC/NPU, réduisant ainsi les copies mémoire CPU et la charge sur le bus.

Ressources matérielles de l’interface d’entrée vidéo :

• Deux interfaces MIPI-CSI DPHY v1.2, chacune dotée de deux voies à 1,5 Gbps par voie. Elles peuvent être combinées en une interface à quatre voies.
• Une interface DVP fonctionnant jusqu’à 150 MHz, prenant en charge les normes BT.601, BT.656 et BT.1120.

Après le prétraitement de l’image, l’ISP émet des données YUV. Le VENC prend en charge les six modes de contrôle de débit spécifiés dans la fiche technique.

Options de stockage pour le démarrage : mémoire flash SPI, eMMC 4.51 et carte SD/MMC. Le micrologiciel peut être téléchargé via USB ou UART.

Mémoire intégrée : 256 Ko de SRAM partagée, 8 Ko de PMU-SRAM, 20 Ko de Boot ROM et 8 Kbits de mémoire OTP.

2 Chaîne d’outils RKNN et déploiement de la quantification de modèles : L’unité de traitement neuronale (NPU) prend en charge la quantification mixte en INT4, INT8 et INT16, tandis que RKNN-Toolkit2 effectue la conversion des modèles. L’INT8 équilibre précision et vitesse, et l’INT4 réduit la taille du modèle. Un débit de détection d’objets avec PaddleDetection de 25 images par seconde (FPS) constitue un résultat de test technique. Le déploiement exige le chargement du modèle RKNN dans le pool mémoire DDR et l’appel de l’interface d’inférence via l’API C/C++.

3 Optimisation de la bibliothèque légère pour la vision : Les systèmes embarqués utilisent la version allégée de la bibliothèque OpenCV-mobile, dont les composants d’interface graphique ont été supprimés afin de réduire sa taille et d’accélérer son démarrage. Une architecture hybride combinant un prétraitement basé sur une bibliothèque légère et une inférence sur NPU diminue l’utilisation du processeur central (CPU) et s’adapte au budget énergétique des dispositifs conçus pour une veille prolongée.

Connectivité continue et optimisation au niveau système

1 architecture réseau à double mode et stratégie de codage intelligente

Ressources matérielles : MAC et PHY Ethernet intégrés sur puce (10/100 M, interface RMII). Une interface SDIO 3.0 prend en charge des modules externes Wi-Fi et Bluetooth, et l’interface USB 2.0 OTG est intégrée. Les ressources périphériques comprennent cinq interfaces I2C, deux interfaces SPI, six interfaces UART et une interface audio I2S.

L’Ethernet fournit un réseau filaire fiable. Un module externe Wi-Fi 6 et Bluetooth 5.2 peut être connecté via SDIO pour une configuration sans fil flexible. La transmission régulière de signaux de vie (heartbeat) et la reconnexion automatique garantissent la disponibilité permanente de la liaison réseau.

Smart Encoding 2.0 est un algorithme logiciel SDK de couche supérieure qui prend en charge l’ajustement adaptatif du débit binaire. Comparé au fonctionnement conventionnel CBR à débit binaire fixe, il permet de réduire la consommation de bande passante et les besoins de stockage.

Le sous-système audio intègre un codec audio matériel avec un convertisseur analogique-numérique (ADC) 24 bits à deux canaux et un convertisseur numérique-analogique (DAC) à un canal. Le rapport signal/bruit typique est de 90 dB, et les entrées microphones différentielles et simples sont toutes deux prises en charge.

2 Optimisation du système Linux et authentification de sécurité

Buildroot est utilisé pour construire le système Linux embarqué, alléger le noyau et les services applicatifs, et prendre en charge les mises à jour logicielles OTA.

La puce intègre un moteur matériel complet de sécurité, doté d'une unité cryptographique matérielle prenant en charge les algorithmes SHA-1, SHA-256, AES, DES, TDES, RSA, ECC et SM2, ainsi qu'un générateur de nombres aléatoires véritables et une mémoire OTP sécurisée. TrustZone et le démarrage sécurisé sont pris en charge. Ces fonctions permettent le chiffrement du micrologiciel, le stockage sécurisé des clés et l'isolement matériel-logiciel des domaines de sécurité afin de protéger la vie privée dans les produits de sécurité.

Applications typiques et guide d'intégration de solutions

Nous proposons des solutions complètes de vision basées sur le RV1106, incluant la conception matérielle de la carte PCBA, la conception des schémas et du circuit imprimé (PCB), la sélection des composants, l’adaptation des pilotes bas niveau, le portage et le débogage des algorithmes, ainsi que l’intégration système complète. Pour toute question concernant le choix du circuit intégré, la conception matérielle, la migration logicielle, l’optimisation des performances ou des projets sur mesure, contactez-nous pour obtenir un soutien technique : [email protected]