Guia de Compatibilidade do Sensor de Câmera RK3576: O que Confirmar Antes do Projeto de Hardware

Para a seleção do sensor de câmera e o projeto de hardware na plataforma RK3576, diversos pontos críticos devem ser definidos antes do início do trabalho com esquemáticos. Essas decisões afetam diretamente o desempenho de imagem e a viabilidade do projeto de hardware.

Restrições do CSI/PHY e do ISP do RK3576

O RK3576 oferece uma arquitetura flexível de interface de câmera, mas a configuração deve ser planejada desde o início com base nos requisitos do projeto.

Suporte à interface: o SoC suporta tanto interfaces de câmera MIPI CSI-2 quanto DVP, sendo o MIPI CSI-2 a principal vantagem para projetos atuais.

O RK3576 fornece uma interface C/D-PHY com até quatro canais, além de duas interfaces D-PHY. Os recursos PHY disponíveis podem ser configurados como duas portas D-PHY de 4 canais ou quatro portas D-PHY de 2 canais. Isso possibilita projetos com múltiplas câmeras, incluindo sistemas de múltiplas vistas, comumente utilizados em aplicações de segurança e robótica.

Notas:

• Para um projeto com múltiplas câmeras, atribua antecipadamente os recursos PHY e de canal.
• Uma porta CSI do RK3576 pode ser configurada como C-PHY ou D-PHY. No modo D-PHY, suporta até 4,5 Gbps por canal; no modo C-PHY, suporta até 2,5 Gsps por trio. Os demais canais D-PHY suportam até 2,5 Gbps por canal. Um projeto prático de hardware deve reservar aproximadamente 20% da largura de banda. Quando a taxa efetiva de dados se aproxima ou ultrapassa o limite da interface, aumenta a probabilidade de quadros corrompidos, quadros descartados e outros defeitos na imagem.
• O SoC também suporta uma interface de câmera DVP paralela para sensores legados de menor resolução. Como as funções DVP e MIPI compartilham alguns pinos, a atribuição de pinos deve ser finalizada com antecedência suficiente para evitar conflitos de recursos.

Especificações e limites de processamento do ISP do RK3576

• O RK3576 integra um único motor de ISP em hardware que suporta processamento de imagem até 16 MP e uma faixa dinâmica HDR de até 120 dB. Num sistema multi-câmera, contudo, rotear diversos fluxos RAW através do ISP implica que a resolução combinada e a taxa de quadros efetiva ficam limitadas tanto pela capacidade do ISP como pela largura de banda de recepção MIPI CSI-2. Se os sensores emitirem YUV diretamente e ignorarem o ISP, as principais restrições passam para a largura de banda da interface MIPI e para a largura de banda de memória.

Exemplo de configuração multi-câmera: 1 x 8 MP (4K a 30 fps) + 2 x 2 MP (1080p a 30 fps).

• As aplicações multi-câmera exigem também uma decisão precoce sobre a sincronização de quadros. A captura multi-vista e a medição estéreo podem necessitar de sincronização de VSYNC por hardware. Confirme se a sincronização por hardware será ativada e se o SoC dispõe de um número suficiente de pinos de acionamento externo para a quantidade prevista de câmeras.

Lista de verificação para seleção de sensores

• Interface e modo de saída: confirme se é MIPI CSI-2 ou DVP, bem como a contagem de canais MIPI (1, 2 ou 4 canais).
• Formato de dados: Na plataforma RK3576, a entrada VICAP suporta formatos RAW, RGB888 e determinados formatos YUV. O ISP integrado processa dados RAW e converte-os em YUV para o fluxo de processamento subsequente. Fluxos RGB e YUV capturados diretamente não passam pelo ISP.
• Resolução e taxa de quadros: Verifique os requisitos de cada sensor individual e, em seguida, valide o modo operacional combinado quando várias câmeras funcionarem simultaneamente. A carga de trabalho total deve permanecer dentro do limite de processamento em tempo real do ISP.
• Compatibilidade com trilhas de alimentação: Um sensor típico utiliza três fontes de alimentação: AVDD para a circuitaria analógica, DVDD para o núcleo digital e DOVDD para o nível de tensão de entrada/saída. A interface MIPI PHY do RK3576 utiliza uma alimentação fixa de 1,8 V; portanto, recomenda-se, em geral, um sensor com DOVDD de 1,8 V. Caso o nível DOVDD do sensor não corresponda ao nível de entrada/saída I2C do host, pode-se acrescentar um conversor de níveis à barra de controle de baixa velocidade. Não instale um conversor de níveis externo nos sinais diferenciais MIPI de alta velocidade. O hardware deve seguir rigorosamente a sequência especificada pelo fabricante do sensor para ligar e desligar a alimentação. A inicialização por software depende dessa sequência; um cronograma incorreto pode impedir a inicialização do sensor ou a geração de imagem. Além disso, é necessário calcular a corrente de pico em AVDD, DVDD e DOVDD, de modo que cada regulador linear integrado (LDO) embarcado tenha capacidade suficiente e margem de projeto adequada.
• Barramento de controle: Confirme o endereço I2C do sensor. Para um sistema com múltiplas câmeras, planeje como os endereços duplicados serão tratados, seja alterando os endereços por meio de software, quando suportado, ou utilizando um comutador I2C externo.
• Entrada de relógio: O RK3576 fornece diversas saídas de MCLK para sensores, configuráveis independentemente. Cada relógio é gerado a partir de uma fonte interna de relógio do SoC e direcionado ao sensor por meio de um GPIO multiplexado; cada saída pode ser ativada e configurada separadamente. A faixa típica configurável por software para um MCLK é de 6 a 48 MHz. Se um sensor exigir um relógio fora dessa faixa, utilize um oscilador externo dedicado. Projetos com múltiplas câmeras também devem ser verificados quanto a conflitos de multiplexação de pinos.
• Projeto de alimentação e térmico: Sensores de alta resolução e alta taxa de quadros consomem mais energia. Avalie a carga de energia no nível da placa e o caminho térmico do produto antes que o hardware seja finalizado.
• Controle da lente, filtro de corte IR e iluminador: Confirme se há recursos GPIO suficientes disponíveis para cada atuador e driver exigidos.
• Compatibilidade do modo HDR: O RK3576 suporta HDR DOL, HDR escalonado e HDR de múltiplos quadros. Antes de selecionar um sensor, confirme se seu formato de dados HDR e seu cronograma são compatíveis com o ISP e o VICAP do RK3576.

Sempre que possível, comece com um sensor já validado pela comunidade da plataforma ou pelo fornecedor do módulo. Isso pode reduzir substancialmente os riscos de desenvolvimento do driver e de inicialização.

Sensores já integrados incluem Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP) e IMX662 (2 MP), além do onsemi AR0234 (2,3 MP) e do OMNIVISION OG02C1B (2 MP). Se seu projeto exigir outro sensor de imagem, entre em contato com [email protected] para discutir integração personalizada e ajuste.

Pontos-chave para o projeto de PCB

• Roteamento MIPI CSI: Controlar a impedância diferencial em 100 ohms ±10%. Manter o desajuste de comprimento entre os condutores P/N de cada par diferencial abaixo de 5 mil e manter o desajuste entre trilhas do mesmo porto CSI abaixo de 200 mil. Rotear os sinais MIPI longe de relógios de alta velocidade, DDR e trilhas de alimentação de alta corrente. Não roteá-los sobre divisões no plano de referência. Manter as trilhas tão curtas quanto possível, preferencialmente abaixo de 15 cm; quanto mais longo o roteamento, menor a taxa máxima de dados que pode ser mantida com confiabilidade.
• MCLK é um relógio single-ended de alta velocidade. Manter espaçamento em relação aos pares diferenciais MIPI e evitar trechos longos em paralelo para reduzir diafonia.
• Manter os roteamentos de alta velocidade MIPI longe de fontes fortes de ruído, como fontes de alimentação chaveadas e barramentos DDR, e fornecer blindagem e aterramento adequados sempre que a disposição física exigir.
• Filtragem de energia: Coloque capacitores de desacoplamento de 0,1 µF e 1 µF próximos a cada pino de alimentação do sensor. Um grão de ferrite pode ser adicionado em AVDD para isolar a trilha analógica do ruído dos circuitos digitais.
• Sensores de alta resolução operando em altas taxas de quadros podem dissipar potência considerável. O aumento da temperatura pode elevar o ruído da imagem e causar desvio de cor; portanto, a solução térmica deve ser avaliada durante o projeto de hardware, e não após a inicialização.
• Revisão de multiplexação de pinos: Verifique todas as atribuições de MIPI, DVP, I2C, MCLK e GPIO quanto a conflitos de funções compartilhadas.

Software e pipeline de processamento de imagem

• Aceleração por hardware: O RK3576 inclui um acelerador gráfico 2D RGA para operações como conversão de formato de imagem (por exemplo, YUV para RGB), redimensionamento e rotação. Usar o RGA em vez de processamento baseado em CPU pode reduzir significativamente a carga da CPU e é essencial para manter uma operação estável em alta taxa de quadros, como 1080p a 30 fps.
• Planejamento do fluxo de dados da NPU: Quando um modelo de IA é executado na NPU integrada de 6 TOPS do RK3576, um caminho típico envolve a captura pela câmera, o processamento pelo ISP, a conversão de formato e redimensionamento pelo RGA, a inferência pela NPU e a saída para exibição. A latência em cada estágio deve ser avaliada durante o projeto do sistema para garantir que o produto completo atenda à sua meta de tempo real.

As seguintes configurações de referência ilustram como as interfaces de câmera disponíveis podem ser alocadas para diversas aplicações comuns.