Bộ nhớ DDR cho hệ thống thị giác AI đa camera cần dung lượng bao nhiêu? (Kèm bảng chọn RK3576)

Cùng với sự phát triển nhanh chóng của các ứng dụng thị giác AI, các giải pháp đa camera (camera stereo, quad-camera và thậm chí nhiều kênh camera hơn nữa) đã được áp dụng rộng rãi trong các lĩnh vực như thu thập dữ liệu, giám sát an ninh, kiểm tra công nghiệp, cảm nhận robot và điện toán biên. Nhiều dự án thường mắc phải một sai lầm phổ biến khi lựa chọn phần cứng: chỉ tập trung vào sức mạnh tính toán của chip mà bỏ qua cấu hình bộ nhớ. Điều này cuối cùng dẫn đến các vấn đề như mất khung hình, suy luận AI bị giật lag và hệ thống bị treo.

Liệu bộ nhớ DDR càng lớn thì càng tốt? Đúng vậy, xét về mặt hiệu năng và độ ổn định. Tuy nhiên, nhược điểm cũng rõ ràng — tốn kém chi phí, đặc biệt trong bối cảnh giá DDR gần đây tăng mạnh. Việc cân bằng giữa chi phí và yêu cầu thực tế của dự án trở nên then chốt trong quá trình lựa chọn giải pháp.

Hãy cùng xem xét sai lầm phổ biến nhất khi xác định dung lượng DDR: việc sử dụng bộ nhớ có thể trông thấp trong điều kiện bình thường, nhưng lại tăng vọt lên mức cực đại trong các đợt thực thi đồng thời nhiều tác vụ, trực tiếp gây ra sự cố sập hệ thống. Nhiều đội nhóm sử dụng mức tiêu thụ bộ nhớ trung bình để đánh giá phần cứng. Lấy cảm biến AR0234 phổ biến làm ví dụ: một camera độ phân giải 1080P tiêu thụ lượng bộ nhớ khiêm tốn ở chế độ chờ không hoạt động. Tuy nhiên, khi chạy toàn bộ quy trình bao gồm chụp ảnh – xử lý tín hiệu hình ảnh (ISP) – suy luận AI – mã hóa, mức tiêu thụ bộ nhớ cực đại của nó có thể đạt tới vài chục MB trên mỗi kênh. Với một camera độ phân giải 4K, mức tiêu thụ cực đại trên mỗi kênh có thể vượt quá 100 MB. Ngay cả một yêu cầu HTTP thông thường cũng tiêu tốn vài MB cho mỗi kết nối. Những chi phí riêng lẻ này có vẻ nhỏ, nhưng chúng cộng dồn nhanh chóng ngay khi nhiều camera và nhiều tác vụ cùng kích hoạt đồng thời. Điều này có thể dẫn đến lỗi OOM (Out-of-Memory), khiến các tiến trình bị buộc dừng và hệ thống thất bại.

Bộ nhớ được tiêu thụ ở đâu trong các hệ thống thị giác AI đa camera?

Bộ nhớ trên các thiết bị thị giác biên không chỉ dành riêng cho các mô hình trí tuệ nhân tạo. Nó được chia sẻ giữa việc chụp ảnh, xử lý sơ bộ ảnh, suy luận trí tuệ nhân tạo, dịch vụ hệ thống và khối lượng công việc ứng dụng. Mức tiêu thụ bộ nhớ tăng lên với mỗi kênh camera bổ sung.

1. Bộ đệm hình ảnh (nguyên nhân lớn nhất gây tốn bộ nhớ) Các ảnh thô, khung YUV và khung đã thu nhỏ do từng camera xuất ra đều chiếm dụng bộ nhớ. Với cảm biến AR0234 hoạt động ở độ phân giải 1080P@30fps, một khung YUV duy nhất chiếm vài MB. Để tránh mất khung, hệ thống duy trì các bộ đệm vòng đa khung, làm tăng thêm mức sử dụng bộ nhớ. Việc tạo nhiều phiên bản hình ảnh khác nhau (gốc, thu nhỏ, cắt vùng) sẽ tạo thêm các bộ đệm khung. Mức sử dụng bộ nhớ tăng bội khi nhiều camera truyền dữ liệu đồng thời.

2. Mức tiêu thụ bộ nhớ do ISP và xử lý sơ bộ hình ảnh Bộ gia tốc phần cứng độc lập ISP thực hiện giảm nhiễu, hiệu chỉnh màu, hiệu chỉnh méo, xoay, cắt và chuyển đổi định dạng. ISP chỉ có bộ đệm cache trên chip giới hạn, không có bộ nhớ khung dung lượng lớn. Do đó, cần cấp phát bộ đệm tạm trong DDR cho nhiều thao tác. Số kênh camera tăng đồng nghĩa với khối lượng công việc của ISP tăng và nhu cầu dung lượng DDR cao hơn.

3. Bộ nhớ dành cho suy luận mô hình AI Suy luận AI tiêu thụ bộ nhớ ở hai phần. Thứ nhất là trọng số mô hình: thông số mô hình càng lớn thì mức tiêu thụ bộ nhớ càng cao. May mắn thay, trọng số được tải một lần duy nhất khi khởi tạo mô hình; footprint bộ nhớ của chúng không tăng theo số kênh camera hay số tình huống trong quá trình chạy.

Bộ nhớ không bị ảnh hưởng trong giai đoạn thực hiện suy luận? Không, không. Điều này đưa chúng ta đến thành phần thứ hai: bộ đệm tính năng trung gian được tạo ra trong quá trình suy luận. Mỗi kênh máy ảnh đòi hỏi bộ đệm tính toán riêng của nó, tăng tổng sử dụng bộ nhớ. Kết luận AI đồng bộ qua nhiều camera đòi hỏi nhiều bộ đệm tính toán độc lập. Do đó, nhiều kênh hơn tương đương với chi phí bộ nhớ cao hơn cho bộ đệm suy luận.

4. Hệ thống, trình điều khiển và phần mềm trung gian Overhead Hãy lấy giải pháp thị giác RK3576 của chúng tôi làm ví dụ. Bộ nhớ hệ thống cơ sở được tiêu thụ bởi lõi Linux, trình điều khiển phương tiện truyền thông RK, khung phương tiện truyền thông RKMPP, trình điều khiển NPU, nhật ký hệ thống và các quy trình chạy. Trong triển khai đa camera, khung truyền thông và mã hóa video (nhận video H.264 / H.265) thêm tải trọng bộ nhớ đáng kể. Cho phép mã hóa và ghi âm đa kênh gây ra sự gia tăng mạnh mẽ thêm áp suất bộ nhớ.

Lưu ý quan trọng: Điều này đề cập đến bộ nhớ làm việc (DDR RAM), không phải bộ nhớ eMMC. eMMC chỉ lưu trữ các tệp video được mã hóa.

5.Ứng dụng - Lớp bộ nhớ kinh doanh Logic ứng dụng bao gồm phân tích kết quả suy luận, theo dõi đa đối tượng, báo cáo dữ liệu, bộ nhớ lưu trữ và lưu trữ ảnh chụp tức thời tiêu thụ bộ nhớ. Ví dụ, các thuật toán theo dõi lưu trữ dữ liệu mục tiêu đa khung hình. Nhiều camera và các đối tượng theo dõi tạo ra các bộ dữ liệu lớn hơn và tiêu thụ bộ nhớ cấp độ ứng dụng cao hơn.

Hiệu suất bộ nhớ thực tế trên nền tảng RK3576

RK3576 là bộ xử lý AI cạnh trong nước chính thống cung cấp hiệu suất NPU 6 TOPS, phù hợp với việc triển khai tầm nhìn AI đa camera. Công ty chúng tôi có nhiều sản phẩm sản xuất hàng loạt trưởng thành hỗ trợ 1 đến 6 kênh camera để phù hợp với các yêu cầu dự án đa dạng. DDR 4 GB là cấu hình sản xuất hàng loạt phổ biến, trong khi các kích thước DDR thay thế được hỗ trợ cho tải trọng công việc khác nhau.

Bảng dưới đây áp dụng cho các cảm biến máy ảnh 1080p-4K phổ biến trên thị trường:

Nếu bạn chưa chắc chắn về cấu hình bộ nhớ phù hợp, vui lòng liên hệ [email protected]. Chúng tôi sẽ cung cấp đánh giá giải pháp tùy chỉnh dựa trên số kênh camera, độ phân giải, logic kinh doanh và khối lượng công việc chạy thực tế của bạn.