ระบบการมองเห็นด้วยปัญญาประดิษฐ์แบบใช้กล้องหลายตัวต้องการหน่วยความจำ DDR เท่าใด? (พร้อมตารางเปรียบเทียบการเลือกชิป RK3576)

ด้วยความก้าวหน้าอย่างรวดเร็วของแอปพลิเคชันการมองเห็นด้วยปัญญาประดิษฐ์ โซลูชันที่ใช้กล้องหลายตัว (เช่น กล้องคู่ กล้องสี่ตัว หรือแม้แต่จำนวนกล้องมากกว่านั้น) ได้รับการนำไปใช้อย่างแพร่หลายในสถานการณ์ต่าง ๆ เช่น การเก็บรวบรวมข้อมูล การเฝ้าระวังด้านความมั่นคง ตรวจสอบอุตสาหกรรม การรับรู้ของหุ่นยนต์ และการประมวลผลข้อมูลที่ขอบเครือข่าย (edge computing) โครงการจำนวนมากตกอยู่ในกับดักทั่วไปขณะเลือกฮาร์ดแวร์ นั่นคือ มุ่งเน้นเพียงแค่ประสิทธิภาพการประมวลผลของชิป โดยละเลยการกำหนดค่าหน่วยความจำ ส่งผลให้เกิดปัญหาต่าง ๆ เช่น การสูญเสียเฟรม การประมวลผลปัญญาประดิษฐ์ช้า และระบบหยุดทำงาน

หน่วยความจำ DDR ที่มีขนาดใหญ่กว่าจะดีกว่าเสมอหรือไม่? ใช่ — หากพิจารณาจากมุมมองของประสิทธิภาพและความเสถียร อย่างไรก็ตาม ข้อเสียก็ชัดเจนเช่นกัน นั่นคือ ราคาสูงขึ้นอย่างมาก โดยเฉพาะเมื่อราคายูนิตความจำ DDR เพิ่งปรับตัวสูงขึ้นอย่างรวดเร็วในช่วงที่ผ่านมา การประเมินสมดุลระหว่างต้นทุนกับความต้องการจริงของโครงการจึงมีความสำคัญยิ่งต่อการเลือกโซลูชัน

มาดูกับดักที่พบบ่อยที่สุดในการกำหนดขนาดหน่วยความจำ DDR กัน การใช้หน่วยความจำอาจดูต่ำในสภาวะปกติ แต่สามารถพุ่งสูงสุดได้ทันทีเมื่อมีงานหลายอย่างทำงานพร้อมกัน ส่งผลโดยตรงให้ระบบหยุดทำงาน ทีมงานจำนวนมากใช้ค่าเฉลี่ยการใช้หน่วยความจำในการประเมินฮาร์ดแวร์ ยกตัวอย่างเซนเซอร์ AR0234 ซึ่งใช้กันอย่างแพร่หลาย: กล้องความละเอียด 1080P ตัวเดียวจะใช้หน่วยความจำเพียงเล็กน้อยขณะอยู่ในโหมดพร้อมใช้งานแบบไม่ทำอะไร อย่างไรก็ตาม เมื่อทำงานเต็มรูปแบบตั้งแต่การจับภาพ-การประมวลผลภาพผ่าน ISP-การอนุมานด้วย AI-จนถึงการเข้ารหัส หน่วยความจำสูงสุดที่ใช้ต่อช่องสัญญาณอาจสูงถึงหลายสิบเมกะไบต์ สำหรับกล้องความละเอียด 4K การใช้หน่วยความจำสูงสุดต่อช่องสัญญาณอาจเกิน 100 เมกะไบต์ แม้แต่คำขอ HTTP ธรรมดาหนึ่งครั้งก็ใช้หน่วยความจำหลายเมกะไบต์ต่อการเชื่อมต่อ ภาระเพิ่มเติมเหล่านี้แต่ละรายการอาจดูเล็กน้อย แต่เมื่อกล้องและงานหลายตัวเริ่มทำงานพร้อมกัน ค่ารวมจะเพิ่มขึ้นอย่างรวดเร็ว จนอาจทำให้เกิดสถานการณ์ OOM (Out-of-Memory) ส่งผลให้กระบวนการถูกยกเลิกและระบบล้มเหลว

หน่วยความจำถูกใช้ไปที่ใดบ้างในระบบการมองเห็นด้วย AI แบบหลายกล้อง

หน่วยความจำบนอุปกรณ์วิชันที่ทำงานที่ขอบเครือข่าย (edge vision devices) ไม่ได้ถูกใช้เฉพาะสำหรับโมเดลปัญญาประดิษฐ์เท่านั้น แต่ยังแบ่งร่วมกันระหว่างการจับภาพ การเตรียมภาพก่อนประมวลผล การอนุมานด้วยปัญญาประดิษฐ์ (AI inference) บริการระบบ และภาระงานของแอปพลิเคชันด้วย ปริมาณหน่วยความจำที่ใช้เกินความจำเป็นจะเพิ่มขึ้นตามจำนวนช่องสัญญาณกล้องที่เพิ่มขึ้นแต่ละช่อง

1. บัฟเฟอร์ภาพ (แหล่งที่มาหลักของหน่วยความจำที่ใช้เกินความจำเป็น) ภาพดิบ กรอบภาพ YUV และกรอบภาพที่ปรับขนาดแล้ว ซึ่งแต่ละกล้องสร้างขึ้น จะใช้หน่วยความจำ ตัวอย่างเช่น กล้อง AR0234 ที่ทำงานที่ความละเอียด 1080P ที่อัตรา 30 เฟรมต่อวินาที (30fps) กรอบภาพ YUV เพียงหนึ่งเฟรมจะใช้หน่วยความจำหลายเมกะไบต์ เพื่อป้องกันไม่ให้เกิดการสูญเสียเฟรม ระบบจะรักษาบัฟเฟอร์แบบวงแหวน (ring buffers) ที่รองรับหลายเฟรม ซึ่งทำให้ปริมาณหน่วยความจำที่ใช้เพิ่มขึ้นอีก ยิ่งไปกว่านั้น การสร้างเวอร์ชันภาพหลายแบบพร้อมกัน เช่น ภาพต้นฉบับ ภาพขนาดย่อ (thumbnail) และภาพที่ตัดบางส่วน (cropped frames) ก็จะสร้างบัฟเฟอร์ภาพเพิ่มเติมอีกด้วย เมื่อมีการสตรีมจากกล้องหลายตัวพร้อมกัน ปริมาณหน่วยความจำที่ใช้จะเพิ่มขึ้นแบบทวีคูณ

2. ภาระงานของหน่วยประมวลผลสัญญาณภาพ (ISP) และการเตรียมภาพก่อนประมวลผล ISP คือตัวเร่งฮาร์ดแวร์แบบอิสระที่ทำหน้าที่ลดสัญญาณรบกวน ปรับสี แก้ภาพบิดเบี้ยว หมุน ตัดขอบ และแปลงรูปแบบ ตัว ISP มีแคชในชิปจำกัดและไม่มีหน่วยจัดเก็บเฟรมความจุสูง ดังนั้นจึงจำเป็นต้องจัดสรรบัฟเฟอร์ชั่วคราวใน DDR สำหรับการดำเนินการหลายประเภท จำนวนช่องสัญญาณกล้องที่เพิ่มขึ้นหมายถึงภาระงานของ ISP หนักขึ้นและต้องการความจุ DDR สูงขึ้น

3. หน่วยความจำสำหรับการอนุมานโมเดล AI การอนุมาน AI ใช้หน่วยความจำสองส่วน ประการแรกคือค่าน้ำหนักของโมเดล (model weights) ซึ่งพารามิเตอร์โมเดลที่ใหญ่ขึ้นจะทำให้ใช้หน่วยความจำมากขึ้น โชคดีที่ค่าน้ำหนักเหล่านี้จะถูกโหลดเพียงครั้งเดียวขณะเริ่มต้นโมเดล ดังนั้นขนาดหน่วยความจำที่ใช้จึงไม่เพิ่มขึ้นตามจำนวนช่องสัญญาณกล้องหรือสถานการณ์ต่าง ๆ ระหว่างทำงาน

หน่วยความจำไม่ได้รับผลกระทบในระหว่างขั้นตอนการอนุมาน (inference runtime phase) หรือไม่? ไม่เลย ซึ่งนำไปสู่องค์ประกอบที่สอง คือ บัฟเฟอร์คุณลักษณะระดับกลาง (intermediate feature buffers) ที่เกิดขึ้นระหว่างการอนุมาน ช่องสัญญาณกล้องแต่ละช่องต้องใช้บัฟเฟอร์การประมวลผลของตนเอง ทำให้การใช้หน่วยความจำรวมเพิ่มขึ้น การประมวลผลปัญญาประดิษฐ์แบบซิงโครไนซ์ข้ามกล้องหลายตัวจึงต้องใช้บัฟเฟอร์การประมวลผลอิสระหลายชุด ดังนั้น จำนวนช่องสัญญาณยิ่งมาก ก็ยิ่งทำให้ภาระหน่วยความจำสำหรับบัฟเฟอร์การอนุมานสูงขึ้นเท่านั้น

4. ภาระจากระบบ ไดรเวอร์ และมิดเดิลแวร์ ยกตัวอย่างเช่น โซลูชันวิชัน RK3576 ของเรา หน่วยความจำระบบพื้นฐานจะถูกใช้โดยเคอร์เนล Linux ไดรเวอร์สื่อ RK กรอบงานสื่อ RKMPP ไดรเวอร์ NPU บันทึกเหตุการณ์ระบบ (system logs) และกระบวนการที่กำลังทำงานอยู่ ในกรณีที่ใช้งานกล้องหลายตัว กรอบงานสื่อและการเข้ารหัสวิดีโอ (การบันทึกในรูปแบบ H.264 / H.265) จะเพิ่มภาระหน่วยความจำอย่างมีน้ำหนัก ทั้งนี้ การเปิดใช้งานการเข้ารหัสและบันทึกแบบหลายช่องสัญญาณจะทำให้แรงกดดันต่อหน่วยความจำเพิ่มขึ้นอย่างรวดเร็ว

หมายเหตุสำคัญ: สิ่งนี้หมายถึงหน่วยความจำในการทำงาน (DDR RAM) ไม่ใช่หน่วยความจำแบบ eMMC ซึ่ง eMMC ใช้เก็บเฉพาะไฟล์วิดีโอที่ผ่านการเข้ารหัสแล้ว

5.การใช้งาน - ชั้นหน่วยความจำสำหรับธุรกิจ ตรรกะการใช้งาน ซึ่งรวมถึงการแยกวิเคราะห์ผลลัพธ์จากการอนุมาน การติดตามวัตถุหลายชิ้น การรายงานข้อมูล การเก็บแคชแบบท้องถิ่น และการจัดเก็บภาพนิ่ง ล้วนใช้หน่วยความจำ ตัวอย่างเช่น อัลกอริธึมการติดตามจะจัดเก็บข้อมูลเป้าหมายจากหลายเฟรม ยิ่งมีกล้องและวัตถุที่ติดตามมากเท่าไร ชุดข้อมูลก็ยิ่งใหญ่ขึ้นเท่านั้น และการใช้หน่วยความจำในระดับแอปพลิเคชันก็ยิ่งสูงขึ้นเท่านั้น

ประสิทธิภาพหน่วยความจำจริงบนแพลตฟอร์ม RK3576

RK3576 เป็นโปรเซสเซอร์เอไอแบบเอจ (edge AI) ภายในประเทศที่ได้รับความนิยม ให้ประสิทธิภาพ NPU สูงถึง 6 TOPS เหมาะอย่างยิ่งสำหรับการใช้งานระบบมองเห็นด้วยเอไอที่รองรับกล้องหลายตัว บริษัทของเราได้พัฒนาผลิตภัณฑ์ที่ผ่านการผลิตจำนวนมากแล้วหลายรุ่น ซึ่งรองรับจำนวนช่องกล้องตั้งแต่ 1 ถึง 6 ช่อง เพื่อตอบสนองความต้องการของโครงการที่หลากหลาย ขนาดแรม DDR 4 กิกะไบต์เป็นค่ามาตรฐานสำหรับการผลิตจำนวนมาก ในขณะที่ขนาดแรม DDR อื่น ๆ ก็สามารถเลือกใช้ได้ตามภาระงานที่แตกต่างกัน

ตารางด้านล่างนี้ใช้กับเซนเซอร์กล้องความละเอียด 1080p ถึง 4K ที่พบได้ทั่วไปในตลาด:

หากคุณไม่แน่ใจเกี่ยวกับการกำหนดค่าหน่วยความจำที่เหมาะสม โปรดติดต่อ [email protected] เราจะประเมินแนวทางแก้ไขที่ปรับแต่งเฉพาะตามจำนวนช่องกล้อง ความละเอียดของภาพ ตรรกะธุรกิจ และภาระงานขณะใช้งานจริง