×
Nhiều thiết bị nhúng, bao gồm robot, camera thông minh và thiết bị đầu cuối thị giác công nghiệp, hiện nay sử dụng NPU để chạy các thuật toán thị giác AI. NPU là một đơn vị phần cứng bên trong chip được dành riêng cho suy luận AI.
Khi lựa chọn chip, nhiều nhóm thường xem xét chỉ số NPU TOPS trước tiên và cho rằng chỉ số càng cao thì chip càng mạnh. Trên thực tế, quá trình phát triển sản phẩm thường gặp phải hai vấn đề điển hình:
Thứ nhất là năng lực xử lý không đủ. Thiết bị hoạt động ở tốc độ khung hình thấp, video bị giật, mất khung hình khi nhiều camera hoạt động đồng thời và khả năng nhận dạng AI có thể thất bại.
Thứ hai là dung lượng dư thừa. Chip này đắt tiền, tiêu thụ nhiều điện năng và tạo ra lượng nhiệt đáng kể. Dung lượng tính toán không được sử dụng sẽ làm giảm biên lợi nhuận.
Một yếu tố kỹ thuật quan trọng cần xem xét là, trong nhiều dự án xử lý hình ảnh nhúng, hiệu năng bị giới hạn bởi tốc độ truyền tải hình ảnh, băng thông bộ nhớ hoặc khả năng xử lý dữ liệu phía sau dựa trên CPU chứ không phải bởi năng lực tính toán của NPU.
Lập kế hoạch tính toán không cần một danh sách dài các thuật ngữ kỹ thuật. Việc phân biệt hai khái niệm chính giúp tránh việc thông số kỹ thuật của chip trở nên gây hiểu nhầm.
Con số TOPS được các nhà cung cấp chip quảng cáo là hiệu năng tính toán đỉnh lý thuyết: khả năng xử lý tối đa mà một NPU có thể đạt được ở tải tối đa trong điều kiện phòng thí nghiệm lý tưởng. Thiết kế sản phẩm cần có khoảng dự phòng, vì vậy hiệu năng đỉnh không thể được sử dụng trực tiếp để xác định kích thước.
Chúng tôi sử dụng GMAC để đánh giá khối lượng công việc tính toán của một mô hình AI. MAC là một phép toán nhân cộng cơ bản, và GMAC đại diện cho một tỷ phép toán như vậy. Nó đo lường lượng tính toán trong một mô hình. Lưu ý rằng GMAC đo lường khối lượng công việc, trong khi GMAC/s đo lường thông lượng. Các mô hình lớn hơn có giá trị GMAC cao hơn.
Hiệu suất sử dụng NPU không phải là một hằng số cố định. Nó thể hiện tỷ lệ dung lượng NPU được sử dụng cho việc tính toán hiệu quả. Đối với các mạng tích chập đơn giản, chẳng hạn như các giao diện VIO hoặc các mô hình phát hiện nhẹ, các toán tử đơn giản và tối ưu hóa chip kỹ lưỡng có thể mang lại hiệu suất sử dụng từ 60% đến 80%. Các mô hình chứa các phép biến đổi phức tạp hoặc các khối Transformer có thể yêu cầu thực thi lặp đi lặp lại theo từng ô, làm giảm hiệu suất sử dụng xuống còn 20% hoặc thậm chí thấp hơn.
Áp dụng tỷ lệ sử dụng cố định 40% là nguyên nhân chính dẫn đến ước tính không chính xác. Độ phân giải cũng ảnh hưởng trực tiếp đến khối lượng công việc: tăng gấp đôi cả chiều rộng và chiều cao của ảnh đầu vào sẽ làm tăng gấp bốn lần diện tích và xấp xỉ gấp bốn lần khối lượng tính toán cho cùng một mô hình.
TOPS chỉ là giới hạn phần cứng tối đa. Hãy bắt đầu ước tính khả năng tính toán với khối lượng công việc GMAC của mô hình và hiệu chỉnh chúng dựa trên các phép đo trên bo mạch phát triển. Không nên chọn chip chỉ dựa trên hiệu năng đỉnh lý thuyết của nó.
Trước khi ước tính yêu cầu tính toán, hãy lập sơ đồ khối lượng công việc của sản phẩm. Điểm khác biệt quan trọng là liệu nhiều camera sử dụng suy luận song song hay suy luận chia sẻ thời gian theo kiểu luân phiên, vì điều này quyết định cách kết hợp nhu cầu tính toán của chúng.
Chế độ song song: Tất cả các camera đều chạy suy luận AI cùng lúc, do đó yêu cầu tính toán của chúng được cộng trực tiếp. Ví dụ, một thiết bị an ninh với bốn camera thực hiện phát hiện đối tượng theo thời gian thực ở tốc độ 30 khung hình mỗi giây trên mỗi kênh sẽ kết hợp tải của cả bốn kênh.
Chế độ chia sẻ thời gian: NPU là một tài nguyên phần cứng được chia sẻ, xử lý hình ảnh camera theo trình tự, xử lý từng kênh một theo thứ tự trong hàng đợi. Nhiều hệ thống xử lý hình ảnh đa camera trên nền tảng Rockchip RK sử dụng phương pháp này.
Khi xác định khối lượng công việc, hãy thu thập các thông tin sau:
Độ phân giải và tốc độ khung hình của từng camera.
Danh sách các mô hình AI: mô hình nào chạy trên NPU và tác vụ xử lý hậu kỳ nào chạy trên CPU.
Độ chính xác lượng tử hóa: INT8 là lựa chọn phổ biến cho các thiết bị nhúng vì hiệu quả suy luận cao hơn.
Phương pháp kích hoạt: xử lý AI liên tục trên mỗi khung hình, hoặc hoạt động được kích hoạt bởi sự kiện, trong đó các thuật toán phức tạp chỉ bắt đầu khi điều kiện kích hoạt được đáp ứng.
Quan trọng: Hãy xuất mô hình GMAC bằng các công cụ như RKNN hoặc ONNX Runtime thay vì ước tính dựa trên kinh nghiệm. Việc sử dụng khối lượng công việc của một mô hình YOLO lớn để định cỡ mạng VIO nhẹ có thể dẫn đến việc ước tính quá cao yêu cầu tính toán.
MV11 của chúng tôi là nền tảng điện toán tích hợp thị giác và định vị quán tính đồng bộ phần cứng bốn camera dựa trên bộ xử lý hiệu năng cao Rockchip RK3576. Nó bao gồm một NPU 6 TOPS và 4 GB bộ nhớ LPDDR4, hỗ trợ đồng bộ hóa ở mức micro giây giữa bốn camera. Các ứng dụng phù hợp bao gồm nhận dạng và phát hiện robot, VIO, SLAM và thu thập dữ liệu EGO đa camera. Nó có thể đóng vai trò là nền tảng phần cứng cho các thử nghiệm tính toán cấp bo mạch, băng thông và lập lịch đa kênh được mô tả ở trên. Mẫu sản phẩm có sẵn để đánh giá dự án giai đoạn đầu, và các giải pháp thị giác hoàn chỉnh có thể được tùy chỉnh để hỗ trợ triển khai. Vui lòng liên hệ với chúng tôi tại [email protected].
Nhiều dự án chỉ tập trung vào NPU TOPS trong quá trình lựa chọn, sau đó phát hiện ra trong quá trình khởi động bo mạch rằng hệ thống không thể đáp ứng được ngay cả khi hơn một nửa dung lượng NPU vẫn còn khả dụng. Các hạn chế sau đây là những điểm nghẽn phổ biến trong thị giác nhúng.
Trong quá trình suy luận AI, NPU liên tục đọc hình ảnh và trọng số mô hình từ bộ nhớ và ghi các bản đồ đặc trưng trung gian trở lại bộ nhớ. Băng thông DDR quyết định tốc độ của các quá trình truyền tải này. Khi băng thông không đủ, ngay cả một NPU có khả năng tính toán dồi dào cũng phải chờ dữ liệu, ngăn cản việc cải thiện tốc độ khung hình. Trong hầu hết các dự án đa camera trên nền tảng RK, băng thông bị bão hòa trong khi chỉ một phần nhỏ khả năng của NPU được sử dụng.
Bộ đệm hình ảnh, trọng số mô hình AI và các bản đồ đặc trưng trung gian đều tiêu tốn bộ nhớ. Mức sử dụng bộ nhớ tăng lên đáng kể khi nhiều kênh hoạt động đồng thời. Thiếu bộ nhớ có thể khiến ứng dụng bị sập. Các thiết bị nhúng thường thiếu bộ nhớ ảo, vì vậy tình trạng hết bộ nhớ (OOM) có thể khiến thiết bị ngừng hoạt động.
Ảnh thô được chụp bởi máy ảnh cần được cắt xén, điều chỉnh kích thước và chuyển đổi không gian màu. Một số bước tiền xử lý được thực hiện bởi phần cứng ISP, trong khi một số khác sử dụng tài nguyên CPU. Việc thu thập dữ liệu từ nhiều máy ảnh làm tăng nhu cầu tiền xử lý và có thể gây ra độ trễ trong toàn bộ quy trình ngay cả khi NPU không hoạt động.
Công suất xử lý tối đa (TOPS) được quảng cáo của chip tương ứng với công suất tiêu thụ tối đa. Hầu hết các thiết bị nhúng đều không có quạt và không thể duy trì tải NPU tối đa trong thời gian dài. Ngay cả khi khả năng tính toán lý thuyết cao, điều kiện nhiệt độ cũng hạn chế khả năng hoạt động liên tục.
Nếu mô hình AI chứa các toán tử đặc biệt mà NPU không thể tăng tốc, chúng sẽ chuyển sang thực thi trên CPU. Quá trình xử lý AI trên CPU chậm và có thể làm tắc nghẽn nghiêm trọng quy trình ngay cả khi dung lượng NPU đủ. Hãy xác minh khả năng hỗ trợ tăng tốc toán tử trước khi lựa chọn nền tảng.
1. Xác định mức độ tải công việc cơ bản và chế độ hoạt động. Định nghĩa quy trình AI: độ phân giải, tốc độ khung hình, số lượng kênh, chiến lược kích hoạt (liên tục hoặc theo sự kiện), thực thi song song hoặc chia sẻ thời gian, danh sách mô hình và độ chính xác triển khai. Đặc biệt chú ý đến cách lập lịch cho nhiều kênh.
2. Định lượng khối lượng công việc của mô hình và xuất GMAC/s. Sử dụng các công cụ để xuất GMAC/s cho từng mô hình, tách biệt quá trình tính toán tăng tốc bằng NPU khỏi quá trình xử lý hậu kỳ bằng CPU.
3. Đo lường trên bo mạch mục tiêu để xác định hiệu quả thực thi. Chuyển đổi các mô hình sang định dạng nền tảng trên các SoC ứng cử viên như RK3576 hoặc RK3588. Đo thời gian suy luận trên mỗi khung hình để xác định thông lượng thực tế của mô hình đó trên NPU đó. Đây là bước quan trọng nhất để loại bỏ sự khác biệt trong các ước tính trên giấy: tất cả các ước tính phải được hiệu chỉnh dựa trên các phép đo ở cấp độ bo mạch chứ không phải các công thức chung chung.
4. Tổng hợp khối lượng công việc đa kênh và đánh giá các điểm nghẽn của hệ thống. Đánh giá cả hoạt động ổn định bình thường và trường hợp xấu nhất khi tất cả các kênh kích hoạt đồng thời. Kiểm tra băng thông DDR và mức sử dụng bộ nhớ cùng lúc. Nhiều dự án đa camera của RK tiêu hao băng thông trong khi khả năng tính toán vẫn còn.
5. Dự trù nguồn lực hợp lý và đặt giới hạn. Sử dụng biên độ 1,1–1,2 cho các sản phẩm ngắn hạn với thuật toán phần lớn cố định, và 1,3–1,4 cho các sản phẩm dự kiến sẽ nhận được cập nhật mô hình. Nguồn lực dự phòng nên bao gồm sự phát triển của mô hình, các kịch bản cao điểm và chi phí lập kế hoạch chứ không phải là dự phòng quá mức tùy tiện. Đặt giới hạn chi phí BOM và công suất cùng lúc.
6.1 Chỉ sử dụng Chip TOPS và Tỷ lệ sử dụng cố định
Việc áp dụng tỷ lệ sử dụng cố định 40% cho TOPS được quảng cáo có thể ước tính quá cao yêu cầu tính toán gấp nhiều lần và khác biệt đáng kể so với điều kiện kỹ thuật thực tế. Tỷ lệ sử dụng thay đổi đáng kể giữa các kiểu máy và kiến trúc NPU.
6.2 Nhân với số lượng kênh và bỏ qua việc chia sẻ thời gian
Trong chế độ hoạt động chia sẻ thời gian, NPU xử lý các kênh lần lượt và khả năng tính toán của nó được tái sử dụng. Việc chỉ đơn giản nhân số lượng kênh với nhu cầu tính toán của một kênh có thể dẫn đến ước tính quá cao các yêu cầu, dẫn đến chip quá mạnh và tốn kém một cách không cần thiết.
6.3 Đánh giá khả năng tính toán của NPU nhưng bỏ qua băng thông DDR
Trong các dự án xử lý hình ảnh đa camera, tắc nghẽn băng thông phổ biến hơn nhiều so với tắc nghẽn năng lực tính toán. Bộ xử lý thần kinh (NPU) có thể vẫn còn dung lượng đáng kể, nhưng tốc độ truyền dữ liệu không thể theo kịp, dẫn đến tốc độ khung hình bị hạn chế. Do đó, băng thông cần được đánh giá đầu tiên trong các dự án đa camera.
6.4 Xem xét tải trung bình nhưng bỏ qua các đỉnh tạm thời
Một sản phẩm có thể hoạt động ở mức tải thấp trong hầu hết thời gian nhưng lại gặp phải các đỉnh tải tạm thời khi tất cả các camera kích hoạt AI đồng thời. Thiết kế phải đáp ứng được các đỉnh tải này, nhưng hàng đợi tác vụ có thể làm giảm bớt nhu cầu tạm thời, do đó chip không nhất thiết phải được thiết kế trực tiếp theo nhu cầu tính toán cao điểm.
6.5 Chỉ tính toán mô hình đếm và bỏ qua chi phí hệ thống
Nhiều ước tính chỉ tính đến GMAC của hệ thống AI và bỏ qua quá trình tiền xử lý ISP, sao chép hình ảnh và xử lý hậu kỳ CPU. Ngay cả với dung lượng NPU đủ lớn, những chi phí phát sinh này vẫn làm tăng độ trễ đầu cuối và ngăn cản việc đạt được tốc độ khung hình như mong đợi.
Liệt kê tất cả các thông số của camera: độ phân giải, tốc độ khung hình và số kênh. Xác nhận xem các kênh sử dụng lập lịch song song hay chia sẻ thời gian.
Xuất GMAC cho từng mô hình và phân biệt giữa tính toán NPU và xử lý hậu kỳ bằng CPU.
Đo thời gian suy luận của mô hình đơn trên các nền tảng ứng cử viên để xác định hiệu quả thực thi thực tế.
Tổng hợp các khối lượng công việc đa kênh và đánh giá mức độ sử dụng năng lực tính toán của NPU trong điều kiện ổn định và điều kiện cao điểm.
Đo băng thông DDR và mức sử dụng bộ nhớ để xác định xem băng thông có phải là yếu tố gây tắc nghẽn hay không.
Kiểm tra tính hợp lệ của các toán tử mô hình và xác nhận hỗ trợ tăng tốc phần cứng NPU để tránh phải chuyển sang sử dụng CPU.
Hãy dự trù dung lượng tính toán tối ưu theo lộ trình cập nhật sản phẩm và đặt ra giới hạn về chi phí linh kiện và điện năng tiêu thụ.
Thực hiện các bài kiểm tra tải mở rộng với các tác nhân kích hoạt đa kênh đồng thời. Kiểm tra sự biến đổi tốc độ khung hình và các sự cố do cạn kiệt bộ nhớ gây ra.
Việc tính toán dung lượng NPU cho hệ thống thị giác nhúng không phải là một bài toán đơn giản chỉ cần áp dụng công thức TOPS. Các ước tính trên giấy chỉ cung cấp tài liệu tham khảo ban đầu. Việc xác thực cuối cùng phải được thực hiện trên bo mạch phát triển của chip mục tiêu.
Quy trình đánh giá toàn diện tuân theo trình tự sau: xác định xem điện toán có phải là nút thắt cổ chai hay không → xác nhận lập lịch song song hoặc chia sẻ thời gian → đo GMAC của mô hình → ưu tiên đánh giá băng thông DDR → hiệu chỉnh thông qua kiểm tra cấp bo mạch → dành chỗ điện toán thích hợp.
Mục tiêu là cân bằng hiệu năng, mức tiêu thụ điện năng và chi phí. Chọn công suất phù hợp với nhiệm vụ thay vì theo đuổi tốc độ xử lý NPU TOPS cao hơn nữa.
MV11 của chúng tôi là nền tảng điện toán tích hợp thị giác và định vị quán tính đồng bộ phần cứng bốn camera dựa trên bộ xử lý hiệu năng cao Rockchip RK3576. Nó bao gồm một NPU 6 TOPS và 4 GB bộ nhớ LPDDR4, hỗ trợ đồng bộ hóa ở mức micro giây giữa bốn camera. Các ứng dụng phù hợp bao gồm nhận dạng và phát hiện robot, VIO, SLAM và thu thập dữ liệu EGO đa camera. Nó có thể đóng vai trò là nền tảng phần cứng cho các thử nghiệm tính toán cấp bo mạch, băng thông và lập lịch đa kênh được mô tả ở trên. Mẫu sản phẩm có sẵn để đánh giá dự án giai đoạn đầu, và các giải pháp thị giác hoàn chỉnh có thể được tùy chỉnh để hỗ trợ triển khai. Vui lòng liên hệ với chúng tôi tại [email protected].
Tin nóng2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
