Hướng dẫn tương thích cảm biến camera RK3576: Những điều cần xác nhận trước khi thiết kế phần cứng

Đối với việc lựa chọn cảm biến camera và thiết kế phần cứng trên nền tảng RK3576, một số điểm then chốt phải được xác định rõ trước khi bắt đầu công việc vẽ sơ đồ mạch. Những quyết định này ảnh hưởng trực tiếp đến hiệu năng xử lý hình ảnh cũng như khả thi về mặt thiết kế phần cứng.

Giới hạn của CSI/PHY và ISP trên RK3576

RK3576 cung cấp kiến trúc giao diện camera linh hoạt, nhưng cấu hình cần được lập kế hoạch dựa trên yêu cầu cụ thể của dự án ngay từ giai đoạn đầu.

Hỗ trợ giao diện: SoC hỗ trợ cả giao diện camera MIPI CSI-2 và DVP, trong đó MIPI CSI-2 mang lại lợi thế chính cho các thiết kế hiện nay.

RK3576 cung cấp một giao diện C/D-PHY tối đa bốn kênh, cùng hai giao diện D-PHY. Các tài nguyên PHY sẵn có có thể được cấu hình thành hai cổng D-PHY mỗi cổng bốn kênh hoặc bốn cổng D-PHY mỗi cổng hai kênh. Điều này cho phép triển khai thiết kế nhiều camera, bao gồm cả các hệ thống đa góc nhìn thường được sử dụng trong ứng dụng an ninh và robot.

Ghi chú:

• Đối với thiết kế nhiều camera, hãy phân bổ sớm tài nguyên PHY và kênh.
• Một cổng CSI RK3576 có thể cấu hình ở chế độ C-PHY hoặc D-PHY. Ở chế độ D-PHY, cổng này hỗ trợ tối đa 4,5 Gbps trên mỗi kênh; ở chế độ C-PHY, cổng này hỗ trợ tối đa 2,5 Gsps trên mỗi bộ ba kênh. Các kênh D-PHY còn lại hỗ trợ tối đa 2,5 Gbps trên mỗi kênh. Một thiết kế phần cứng thực tế nên dự trữ khoảng 20% băng thông. Khi tốc độ dữ liệu hiệu dụng tiến gần đến hoặc vượt quá giới hạn giao diện, khả năng xuất hiện khung hình bị lỗi, khung hình bị bỏ qua và các sự cố hình ảnh khác sẽ tăng lên.
• SoC cũng hỗ trợ giao diện camera DVP song song dành cho các cảm biến cũ, độ phân giải thấp hơn. Vì một số chân pin được chia sẻ giữa chức năng DVP và MIPI, việc phân bổ chân pin phải được xác định sớm để tránh xung đột tài nguyên.

Thông số kỹ thuật và giới hạn xử lý ISP RK3576

• RK3576 tích hợp một bộ xử lý hình ảnh phần cứng (ISP) duy nhất, hỗ trợ xử lý hình ảnh lên đến 16 MP và dải động HDR lên đến 120 dB. Tuy nhiên, trong hệ thống nhiều camera, việc định tuyến nhiều luồng RAW qua ISP đồng nghĩa với việc độ phân giải tổng hợp và tốc độ khung hình hiệu dụng bị giới hạn bởi cả khả năng của ISP lẫn băng thông nhận dữ liệu MIPI CSI-2. Nếu các cảm biến xuất ra tín hiệu YUV trực tiếp và bỏ qua ISP, các ràng buộc chính sẽ chuyển sang băng thông giao diện MIPI và băng thông bộ nhớ.

Ví dụ về cấu hình nhiều camera: 1 × 8 MP (4K ở 30 fps) + 2 × 2 MP (1080p ở 30 fps).

• Các ứng dụng nhiều camera cũng yêu cầu quyết định sớm về đồng bộ hóa khung hình. Việc chụp đa góc nhìn và đo khoảng cách nổi (stereo ranging) có thể cần đồng bộ hóa VSYNC phần cứng. Hãy xác nhận xem đồng bộ hóa phần cứng có được kích hoạt hay không, cũng như SoC có đủ chân kích hoạt ngoài (external trigger pins) cho số lượng camera dự kiến hay không.

Danh sách kiểm tra lựa chọn cảm biến

• Giao diện và chế độ đầu ra: Xác nhận sử dụng MIPI CSI-2 hay DVP, đồng thời xác nhận số kênh MIPI (1, 2 hoặc 4 kênh).
• Định dạng dữ liệu: Trên nền tảng RK3576, đầu vào VICAP hỗ trợ các định dạng RAW, RGB888 và một số định dạng YUV được chọn. Bộ xử lý ảnh tích hợp (ISP) xử lý dữ liệu RAW và chuyển đổi sang định dạng YUV cho đường ống xử lý tiếp theo. Các luồng RGB và YUV được chụp trực tiếp không đi qua ISP.
• Độ phân giải và tốc độ khung hình: Kiểm tra yêu cầu của từng cảm biến riêng lẻ, sau đó xác minh chế độ hoạt động kết hợp khi nhiều camera chạy đồng thời. Tổng tải công việc phải nằm trong giới hạn xử lý thời gian thực của ISP.
• Tương thích điện áp đường cấp nguồn: Một cảm biến điển hình sử dụng ba nguồn cấp: AVDD cho mạch tương tự, DVDD cho lõi kỹ thuật số và DOVDD cho mức điện áp đầu vào/đầu ra. PHY MIPI RK3576 sử dụng nguồn cấp cố định 1,8 V, do đó thường ưu tiên cảm biến có DOVDD là 1,8 V. Nếu mức DOVDD của cảm biến không khớp với mức I/O I2C của bộ chủ, có thể thêm bộ chuyển mức (level shifter) vào bus điều khiển tốc độ thấp. Không đặt bộ chuyển mức bên ngoài trên các tín hiệu vi sai MIPI tốc độ cao. Phần cứng phải tuân thủ trình tự cấp điện và ngắt điện được nhà sản xuất cảm biến quy định. Việc khởi tạo phần mềm phụ thuộc vào trình tự này; thời điểm không chính xác có thể khiến cảm biến không khởi tạo được hoặc không tạo ra hình ảnh. Dòng điện đỉnh trên AVDD, DVDD và DOVDD cũng cần được tính toán để mỗi LDO tích hợp đều có dung lượng và dự phòng thiết kế đủ.
• Đường bus điều khiển: Xác nhận địa chỉ I2C của cảm biến. Đối với hệ thống nhiều camera, cần lập kế hoạch xử lý các địa chỉ trùng lặp — bằng cách thay đổi địa chỉ trong phần mềm (nếu được hỗ trợ) hoặc sử dụng bộ chuyển mạch I2C bên ngoài.
• Ngõ vào xung đồng hồ: RK3576 cung cấp nhiều ngõ ra MCLK cho cảm biến, mỗi ngõ có thể cấu hình độc lập. Mỗi xung đồng hồ được tạo từ nguồn đồng hồ nội bộ của SoC và dẫn tới cảm biến qua chân GPIO đa năng; từng ngõ ra có thể bật và cấu hình riêng biệt. Dải tần số thường được cấu hình bằng phần mềm cho một MCLK là từ 6 đến 48 MHz. Nếu cảm biến yêu cầu xung đồng hồ nằm ngoài dải này, hãy dùng bộ dao động bên ngoài chuyên dụng. Các thiết kế nhiều camera cũng cần kiểm tra xung đột phân bổ chân (pin-multiplexing).
• Thiết kế cấp nguồn và tản nhiệt: Cảm biến độ phân giải cao và tốc độ khung hình cao tiêu thụ nhiều điện năng hơn. Đánh giá tải điện ở cấp bo mạch và đường dẫn tản nhiệt của sản phẩm trước khi hoàn tất thiết kế phần cứng.
• Điều khiển ống kính, bộ lọc cắt hồng ngoại (IR-cut) và bộ chiếu sáng: Xác nhận rằng tài nguyên GPIO sẵn có đủ để điều khiển từng bộ điều khiển và bộ điều khiển yêu cầu.
• Tương thích chế độ HDR: RK3576 hỗ trợ HDR DOL, HDR xen kẽ (staggered HDR) và HDR nhiều khung hình (multi-frame HDR). Trước khi chọn cảm biến, hãy xác nhận định dạng dữ liệu HDR và thời điểm truyền tín hiệu của cảm biến tương thích với ISP và VICAP trên RK3576.

Khi có thể, hãy bắt đầu với cảm biến đã được cộng đồng nền tảng hoặc nhà cung cấp mô-đun xác minh trước đó. Điều này có thể giảm đáng kể rủi ro phát triển trình điều khiển và đưa sản phẩm vào hoạt động.

Các cảm biến chúng tôi đã tích hợp bao gồm Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP), IMX662 (2 MP), cùng với onsemi AR0234 (2,3 MP) và OMNIVISION OG02C1B (2 MP). Nếu dự án của bạn yêu cầu cảm biến ảnh khác, vui lòng liên hệ [email protected] để trao đổi về tích hợp tùy chỉnh và hiệu chỉnh.

Những điểm quan trọng trong thiết kế PCB

• Tuyến đường MIPI CSI: Điều khiển trở kháng vi sai ở mức 100 ôm ±10%. Giữ độ chênh lệch chiều dài giữa hai dây P/N trong mỗi cặp vi sai dưới 5 mil và giữ độ chênh lệch chiều dài giữa các tuyến trong cùng một cổng CSI dưới 200 mil. Đi tuyến tín hiệu MIPI tránh xa các đồng hồ tốc độ cao, DDR và các tuyến cấp nguồn có dòng lớn. Không đi tuyến qua các khe hở trên mặt phẳng tham chiếu. Giữ các tuyến ngắn nhất có thể, ưu tiên dưới 15 cm; tuyến càng dài thì tốc độ dữ liệu tối đa có thể duy trì ổn định càng thấp.
• MCLK là xung nhịp đơn đầu tốc độ cao. Duy trì khoảng cách từ các cặp vi sai MIPI và tránh chạy song song với độ dài lớn để giảm nhiễu xuyên âm.
• Giữ các tuyến MIPI tốc độ cao tránh xa các nguồn nhiễu mạnh như bộ nguồn chuyển mạch và bus DDR, đồng thời cung cấp lớp chắn nhiễu và tiếp đất phù hợp tại những vị trí bố trí yêu cầu.
• Lọc nguồn: Đặt các tụ điện bypass 0,1 µF và 1 µF gần chân cấp nguồn của mỗi cảm biến. Có thể thêm một hạt ferrite trên đường AVDD để cách ly đường cấp nguồn tương tự khỏi nhiễu từ mạch số.
• Các cảm biến độ phân giải cao hoạt động ở tốc độ khung hình cao có thể tiêu thụ công suất đáng kể. Nhiệt độ tăng lên có thể làm tăng nhiễu ảnh và gây lệch màu, do đó cần đánh giá giải pháp tản nhiệt ngay từ giai đoạn thiết kế phần cứng chứ không phải sau khi đưa hệ thống vào vận hành.
• Kiểm tra việc chia sẻ chân (pin-multiplexing): Kiểm tra tất cả các gán chân MIPI, DVP, I2C, MCLK và GPIO để phát hiện xung đột chức năng chung.

Phần mềm và quy trình xử lý ảnh

• Tăng tốc phần cứng: RK3576 tích hợp bộ tăng tốc đồ họa 2D RGA để thực hiện các thao tác như chuyển đổi định dạng ảnh (ví dụ: YUV sang RGB), co giãn và xoay ảnh. Việc sử dụng RGA thay vì xử lý dựa trên CPU có thể giảm tải CPU đáng kể và rất quan trọng để duy trì hoạt động ổn định ở tốc độ khung hình cao, ví dụ như 1080p ở 30 khung hình/giây.
• Kế hoạch luồng dữ liệu NPU: Khi một mô hình AI chạy trên NPU tích hợp 6 TOPS của RK3576, đường dẫn điển hình bao gồm việc chụp ảnh từ camera, xử lý bởi ISP, chuyển đổi định dạng và thay đổi kích thước bằng RGA, suy luận trên NPU, rồi đầu ra hiển thị. Độ trễ ở mỗi giai đoạn cần được đánh giá trong quá trình thiết kế hệ thống để đảm bảo sản phẩm hoàn chỉnh đáp ứng mục tiêu thời gian thực.

Các cấu hình tham khảo sau đây minh họa cách phân bổ các giao diện camera sẵn có cho một số ứng dụng phổ biến.