Khởi tạo camera trên Linux với RK3576: Từ trình điều khiển cảm biến đến khung hình đầu tiên

RK3576 la mot bo xu ly do Rockchip phat trien cho cac ung dung tham nhin cong nghiep, an ninh thong minh va cac thiet bi tham nhin AI. No tich hop bo xu ly tin hieu anh (ISP) V3.9 (ho tro toi da 16 MP) va ba module thu MIPI CSI-2 (hai module D-PHY V2.0 va mot module C/D-PHY). Moi kenh D-PHY ho tro toc do toi da 4,5 Gbps, moi bo ba kenh C-PHY ho tro toc do toi da 2,5 Gsps va moi cong CSI ho tro bon kenh ao.

Giai phap may anh RK3576 duoc thiet ke dua tren khung Linux Media va mo hinh thiet bi con V4L2-subdev. Toan bo duong truyen du lieu bao gom: bo cam bien anh → bo dieu khien thu MIPI CSI → don vi bat anh video VICAP → ISP V3.9. Bo cam bien hoat dong nhu mot thiet bi con doc lap va lam viec cung voi MIPI CSI, VICAP va ISP de tao thanh mot quy trinh lay anh day du.

Mặc dù RK3576 cung cấp ba kênh thu MIPI CSI và VICAP có thể nhận nhiều luồng hình ảnh đồng thời, ISP phiên bản 3.9 là phần cứng đơn kênh và chỉ có thể thực hiện xử lý thuật toán ISP trên một luồng hình ảnh tại một thời điểm.

Trong quá trình gỡ lỗi dự án, các sự cố có thể bao gồm giao tiếp I2C bất thường, liên kết MIPI không ổn định hoặc thất bại trong việc thiết lập đường ống Media, dẫn đến việc không xuất được khung hình đầu tiên. Bài viết này trình bày một phương pháp gỡ lỗi toàn diện từ góc độ triển khai kỹ thuật và có thể làm tài liệu tham khảo cho việc gỡ lỗi thị giác nhúng.

1. Chuẩn bị phần cứng và nhân hệ thống: Loại bỏ các sự cố phần cứng mức thấp trước khi tiến hành gỡ lỗi

Trong quá trình gỡ lỗi trình điều khiển, phần lớn sự cố chúng ta gặp phải không bắt nguồn từ mã trình điều khiển mà do các vấn đề cấp thấp như cách đấu nối phần cứng, thứ tự cấp điện hoặc cấu hình nhân thiếu sót. Do đó, trước khi bắt đầu phát triển trình điều khiển cảm biến, cần kiểm tra và xác minh môi trường phần cứng nền tảng cũng như môi trường nhân trước tiên.

Các kiểm tra phần cứng then chốt bao gồm đường cấp điện cho cảm biến, bus I2C, các liên kết vi sai MIPI và các chân GPIO dùng để đặt lại/điều khiển cấp điện.

Thứ tự cấp điện cho cảm biến là một trong những khía cạnh quan trọng nhất khi gỡ lỗi. Nhiều đường cấp điện như AVDD, DOVDD và DVDD phải tuân thủ nghiêm ngặt thứ tự cấp điện được nhà sản xuất cảm biến quy định. Độ lệch điện áp cung cấp quá mức hoặc thời điểm cấp điện/ngắt điện không đúng có thể gây ra trực tiếp sự cố truyền thông I2C và hoạt động bất thường của cảm biến.

Bus I2C: Kiểm tra cấu hình phân bổ lại chân (pin-multiplexing), địa chỉ thiết bị phụ (slave address) của cảm biến và xác nhận rằng các điện trở kéo lên (pull-up resistor) trên bus I2C đã được lắp đặt đầy đủ.

MIPI: Xác nhận kênh CSI được phần cứng sử dụng, số lượng đường dẫn MIPI (lanes) và việc phối hợp trở kháng trên các đường tín hiệu vi sai. Đồng thời xác nhận xem đồng hồ tham chiếu cảm biến (XVCLK) do RK3576 xuất ra đang hoạt động đúng hay không.

Các chân điều khiển đặt lại/ngắt nguồn: Xác định mức logic kích hoạt (kích hoạt cao/kích hoạt thấp) và đảm bảo cấu hình GPIO phù hợp với sơ đồ mạch.

Cấu hình nhân hệ thống (kernel): Kiểm tra các tùy chọn nhân liên quan đến hệ thống phương tiện (Media subsystem), thiết bị con V4L2-subdev, bộ điều khiển và trình điều khiển PHY MIPI CSI, VICAP cũng như ISP phiên bản V3.9. Nếu một thành phần bắt buộc chưa được tích hợp vào nhân hoặc được biên dịch dưới dạng mô-đun nhưng không tải thành công, thì đường ống xử lý phương tiện (Media pipeline) sẽ không thể nhận diện phần cứng camera. Sau khi nhân đã được biên dịch và ghi vào thiết bị, trước tiên cần kiểm tra trạng thái tải của từng mô-đun trình điều khiển. Xem xét nhật ký dmesg và xác nhận rằng không có lỗi nào như thiếu mô-đun hoặc thất bại trong quá trình khởi tạo.

2. Cấu hình Cây Thiết Bị (DTS): Thiết lập kết nối giữa các thiết bị

Cây thiết bị camera RK3576: Mô tả các tài nguyên phần cứng và sử dụng các nút cổng (port) và điểm cuối (endpoint) để liên kết các thành phần trong đường ống xử lý ảnh, bao gồm cảm biến, giao diện MIPI CSI, VICAP và ISP.

Nút cảm biến được gắn dưới nút bus I2C tương ứng và xác định địa chỉ slave I2C, chân đặt lại (reset), chân điều khiển tắt nguồn (power-down) và xung nhịp tham chiếu của cảm biến. Các thuộc tính có thể được cấu hình để trì hoãn việc khởi tạo cảm biến cho đến khi phần cứng PHY của CSI sẵn sàng, từ đó tránh các xung đột về thời gian do PHY chưa sẵn sàng. Điểm cuối (endpoint) bên trong nút cổng (port) của nút cảm biến trỏ tới đầu vào MIPI CSI và xác định số kênh dữ liệu MIPI.

Nút điều khiển MIPI CSI bao gồm hai cổng: cổng đầu vào được kết nối với cảm biến hình ảnh, và cổng đầu ra được kết nối với đơn vị VICAP. Sau đó, VICAP xuất dữ liệu hình ảnh tới ISP V3.9. Lưu ý rằng các điểm cuối (endpoints) phải tham chiếu lẫn nhau theo cả hai chiều, và các thuộc tính remote-endpoint ở cả hai đầu phải tương ứng một-một. Nếu việc liên kết hai chiều không khớp, khung Media sẽ không thể nhận diện được toàn bộ đường dẫn dữ liệu. Sau khi sửa đổi, biên dịch và nạp lại tập tin DTS, trước tiên hãy xem nhật ký dmesg để xác nhận rằng tất cả các nút thiết bị đều ở trạng thái bình thường và không xuất hiện lỗi deferred-probe kéo dài. Việc lặp lại nhiều lần quá trình deferred probing thường cho thấy cấu hình GPIO, xung clock hoặc nguồn điện không chính xác.

3. Phát triển trình điều khiển thiết bị con cảm biến: Mô hình V4L2-subdev

Trình điều khiển cảm biến nền tảng RK3576 được phát triển dựa trên khung V4L2-subdev. Trình điều khiển cảm biến không tạo nút /dev/video; nó chỉ tồn tại dưới dạng thực thể thiết bị phụ Media. Các trách nhiệm chính của nó bao gồm cấu hình thanh ghi cảm biến, quản lý nguồn và đặt lại, cấu hình định dạng ảnh, cũng như kiểm soát việc bắt đầu/dừng luồng.

Trình điều khiển chủ yếu được chia thành năm mô-đun: dò I2C, kiểm soát nguồn/đặt lại, bảng thanh ghi chế độ, cấu hình định dạng pad và kiểm soát việc bắt đầu/dừng luồng.

Trong giai đoạn dò tìm của trình điều khiển, ID chip cảm biến được đọc qua giao diện I2C để xác minh chip có được nhận dạng đúng hay không. Nếu việc đọc ID thất bại, việc khắc phục sự cố có thể tập trung ngay vào các lỗi phần cứng liên quan đến I2C, nguồn điện và tín hiệu reset. Các chức năng cấp nguồn/reset thực hiện đầy đủ quy trình khởi động (power-up) và tắt nguồn (power-down) cho cảm biến: trong quá trình khởi động, từng đường cung cấp điện được bật tuần tự, chân reset được kích hoạt trong khoảng thời gian trễ đã chỉ định, sau đó tín hiệu reset được giải phóng và cảm biến được cấp thời gian ổn định nội bộ. Quy trình tắt nguồn thực hiện các thao tác ngược lại.

Các bảng thanh ghi chế độ lưu trữ cấu hình thanh ghi cảm biến đầy đủ cho các độ phân giải, tốc độ khung hình và tốc độ MIPI khác nhau. Khi tầng trên chuyển đổi các tham số chụp, trình điều khiển ghi tập thanh ghi đầy đủ tương ứng. Giao diện định dạng pad cấu hình định dạng ảnh bus phương tiện (media-bus image format), định dạng này phải khớp chính xác với định dạng Bayer do cảm biến xuất ra (ví dụ: BGGR hoặc RGGB). Việc cấu hình sai sẽ gây ra lỗi màu ảnh ngay lập tức. Giao diện điều khiển luồng (stream-control interface) sử dụng lệnh stream_on để ghi các lệnh thanh ghi nhằm kích hoạt đầu ra ảnh MIPI của cảm biến, trong khi stream_off dừng việc truyền ảnh. Sau khi trình điều khiển được triển khai xong, các tùy chọn xây dựng được thêm vào tệp Kconfig và Makefile của nhân (kernel) để trình điều khiển có thể được tích hợp trực tiếp vào nhân hoặc được biên dịch dưới dạng mô-đun nhân có thể tải động.

4. Gỡ lỗi từng giai đoạn: Lấy khung hình đầu tiên từng bước một

Không nên thực hiện việc chụp ảnh ngay lập tức. Hãy áp dụng phương pháp gỡ lỗi từng lớp theo ba giai đoạn: xác nhận trình điều khiển cảm biến khởi tạo thành công → kiểm tra xem đường ống xử lý phương tiện (Media pipeline) đã được kết nối đầy đủ chưa → chụp ảnh thô bằng V4L2.

Giai đoạn 1: Xác minh trình điều khiển cảm biến khởi tạo thành công

Sau khi hệ thống khởi động, hãy xem lại nhật ký dmesg và tìm các thông báo do trình điều khiển cảm biến in ra. Dùng lệnh i2cdetect để quét bus I2C tương ứng và xác nhận xem địa chỉ thiết bị con (slave address) của cảm biến có được phát hiện hay không.

• Nếu không phát hiện thiết bị I2C nào: Kiểm tra nguồn cấp cho cảm biến, mạch reset, việc hàn phần cứng I2C và việc phân bổ lại chân (pin multiplexing).
• Nếu địa chỉ I2C có thể phát hiện được nhưng giá trị Chip ID đọc được bất thường: đường truyền phần cứng I2C đang hoạt động bình thường; nguyên nhân có khả năng cao là do địa chỉ thanh ghi sai hoặc loại cảm biến không khớp với mô hình dự kiến.

Giai đoạn 2: Xác minh đường ống khung làm việc phương tiện (Media Framework Pipeline)

Sử dụng media-ctl để xem danh sách các thực thể thiết bị phương tiện. Trong điều kiện bình thường, các thực thể phụ như cảm biến, mipi_csi, vicap và isp39 phải hiển thị, với mỗi cổng pad được nhận diện chính xác.

• Nếu thực thể cảm biến không hiển thị: quá trình khởi tạo trình điều khiển cảm biến đã thất bại.
• Nếu các thực thể tồn tại nhưng liên kết bị ngắt: việc ghép nối hai chiều tại điểm cuối trong tệp DTS là không chính xác.

Trong quá trình gỡ lỗi, media-ctl có thể được sử dụng để cấu hình toàn bộ đường ống một cách thủ công: thiết lập liên kết giữa các thực thể và thiết lập định dạng ảnh, độ phân giải và cấu hình kênh cho từng giai đoạn thiết bị phụ. Các lỗi từ media-ctl thường xuất phát từ số lượng kênh, định dạng bus phương tiện hoặc tham số độ phân giải vượt quá khả năng phần cứng của cảm biến. Việc cấu hình media-ctl thành công cho thấy đường dẫn phần mềm từ cảm biến đến ISP đã được thiết lập.

Giai đoạn 3: Chụp ảnh bằng V4L2 và lấy khung dữ liệu thô đầu tiên

VICAP/ISP tao nut /dev/video, la diem vao o khong gian nguoi dung de bat anh. Su dung lenh v4l2-ctl de dat dinh dang pixel anh, bat mot khung anh don gian bang phuong phap mmap, va luu du lieu Bayer RAW. Neu kich thuoc tep RAW duoc tao ra phu hop voi gia tri ly thuyet, khung anh dau tien da duoc bat thanh cong. Tep RAW sau do co the duoc xem bang mot cong cu phan tich anh chuyen dung de kiem tra anh Bayer goc.

5. Cac phuong phap thuong dung de giam sat va sua loi

• media-ctl bao loi khi cau hinh lien ket: Dau tien kiem tra viec gan ket diem cuoi DTS hai chieu, sau do xac minh cac tham so dinh dang media-bus, do phan giai va so luong kenh (lane count).
• Thoi gian bat khung V4L2 het han ma khong co du lieu anh dau ra: Xac nhan rang lenh stream_on da duoc thuc thi dung cach trong driver, rang CSI PHY da dat duoc khoa dong bo xung nhip (clock lock), va rang bo cam bien thuc su dang phat ra dong du lieu MIPI.
• Hình ảnh bị lỗi hoặc nhiễu dạng sọc: Các nguyên nhân có thể bao gồm tốc độ xung nhịp MIPI không chính xác, số kênh (lane) không đúng, sai lệch mẫu Bayer hoặc độ gợn quá mức trên nguồn cấp điện của cảm biến.
• Đầu ra hình ảnh không ổn định hoặc bị bỏ khung một cách ngẫu nhiên: Thời điểm cấp điện/khởi động lại cảm biến có thể không đáp ứng yêu cầu, hoặc nguồn cấp điện phần cứng có thể không đủ ổn định.

Chúng tôi sở hữu giải pháp RK3576 đã được kiểm chứng và năng lực chuyên sâu trong phát triển tùy chỉnh, thích nghi phần cứng và triển khai sản xuất hàng loạt. Đối với các loại cảm biến hình ảnh khác nhau cũng như các yêu cầu về độ phân giải/tỷ lệ khung hình đa dạng, chúng tôi có thể cung cấp các phiên bản sửa đổi phần cứng, gỡ lỗi trình điều khiển và tối ưu hóa toàn hệ thống nhằm hỗ trợ hiệu quả các dự án tùy chỉnh trong lĩnh vực thị giác công nghiệp, an ninh thông minh, thiết bị thị giác AI và các ứng dụng khác. Liên hệ với chúng tôi tại [email protected].