คู่มือความเข้ากันได้ของเซ็นเซอร์กล้อง RK3576: สิ่งที่ต้องยืนยันก่อนออกแบบฮาร์ดแวร์

ในการเลือกเซ็นเซอร์กล้องและการออกแบบฮาร์ดแวร์สำหรับแพลตฟอร์ม RK3576 จำเป็นต้องกำหนดประเด็นสำคัญหลายประการให้เสร็จสิ้นก่อนเริ่มงานวาดแผนผังวงจร เหตุผลก็เพราะการตัดสินใจเหล่านี้ส่งผลโดยตรงต่อประสิทธิภาพการถ่ายภาพและความเป็นไปได้ในการออกแบบฮาร์ดแวร์

ข้อจำกัดของ CSI/PHY และ ISP บน RK3576

RK3576 มีสถาปัตยกรรมอินเทอร์เฟซกล้องที่ยืดหยุ่น แต่การกำหนดค่าต้องวางแผนไว้ตั้งแต่ต้นตามความต้องการของโครงการ

การรองรับอินเทอร์เฟซ: ชิป SoC รองรับทั้งอินเทอร์เฟซกล้อง MIPI CSI-2 และ DVP โดย MIPI CSI-2 ให้ข้อได้เปรียบหลักสำหรับการออกแบบในปัจจุบัน

RK3576 มีอินเทอร์เฟซ C/D-PHY หนึ่งชุดที่รองรับได้สูงสุดสี่เลน พร้อมด้วยอินเทอร์เฟซ D-PHY อีกสองชุด ทรัพยากร PHY ที่มีอยู่สามารถกำหนดค่าได้เป็นพอร์ต D-PHY สองชุดแบบสี่เลน หรือพอร์ต D-PHY สี่ชุดแบบสองเลน ซึ่งทำให้สามารถออกแบบระบบกล้องหลายตัวได้ รวมถึงระบบที่ใช้มุมมองหลายมุม (multi-view) ซึ่งพบได้บ่อยในแอปพลิเคชันด้านความปลอดภัยและหุ่นยนต์

หมายเหตุ:

• สำหรับการออกแบบที่ใช้กล้องหลายตัว ควรกำหนดทรัพยากร PHY และเลนล่วงหน้า
• พอร์ต CSI ของ RK3576 หนึ่งพอร์ตสามารถตั้งค่าให้ทำงานเป็น C-PHY หรือ D-PHY ได้ ในโหมด D-PHY รองรับความเร็วสูงสุด 4.5 Gbps ต่อเลน ส่วนในโหมด C-PHY รองรับความเร็วสูงสุด 2.5 Gsps ต่อทริโอ ส่วนช่องทาง D-PHY ที่เหลือรองรับความเร็วสูงสุด 2.5 Gbps ต่อเลน การออกแบบฮาร์ดแวร์ที่เหมาะสมควรมีแบนด์วิดท์สำรองไว้ประมาณ 20% เมื่ออัตราการถ่ายโอนข้อมูลจริงเข้าใกล้หรือเกินขีดจำกัดของอินเทอร์เฟซ ความผิดปกติของเฟรม เช่น เฟรมเสีย เฟรมหาย หรือข้อบกพร่องอื่น ๆ ของภาพ จะมีโอกาสเกิดขึ้นมากขึ้น
• SoC ยังรองรับอินเทอร์เฟซกล้องแบบขนาน DVP สำหรับเซนเซอร์รุ่นเก่าที่มีความละเอียดต่ำกว่า เนื่องจากฟังก์ชัน DVP และ MIPI ใช้ขาบางขาเดียวกัน จึงจำเป็นต้องกำหนดการจัดสรรขาให้เสร็จสิ้นตั้งแต่เนิ่น ๆ เพื่อหลีกเลี่ยงความขัดแย้งของทรัพยากร

ข้อกำหนดและขีดจำกัดการประมวลผล ISP ของ RK3576

• ชิป RK3576 ผสานหน่วยประมวลผลภาพแบบฮาร์ดแวร์ (ISP) จำนวนหนึ่งหน่วย ซึ่งรองรับการประมวลผลภาพสูงสุดถึง 16 ล้านพิกเซล และช่วงไดนามิก HDR สูงสุด 120 เดซิเบล อย่างไรก็ตาม ในระบบที่ใช้กล้องหลายตัว การส่งสตรีมข้อมูลดิบ (RAW) หลายสตรีมผ่านหน่วย ISP จะทำให้ความละเอียดรวมและอัตราเฟรมที่ใช้งานได้จริงถูกจำกัดทั้งโดยความสามารถของหน่วย ISP และแบนด์วิดท์ในการรับสัญญาณผ่านอินเทอร์เฟซ MIPI CSI-2 แต่หากเซนเซอร์ส่งออกสัญญาณรูปแบบ YUV โดยตรง โดยไม่ผ่านหน่วย ISP ข้อจำกัดหลักจะเปลี่ยนไปเป็นแบนด์วิดท์ของอินเทอร์เฟซ MIPI และแบนด์วิดท์ของหน่วยความจำ

ตัวอย่างการจัดวางกล้องแบบหลายตัว: 1 ตัว ความละเอียด 8 ล้านพิกเซล (4K ที่ 30 เฟรมต่อวินาที) บวกกับ 2 ตัว ความละเอียด 2 ล้านพิกเซล (1080p ที่ 30 เฟรมต่อวินาที)

• แอปพลิเคชันที่ใช้กล้องหลายตัวยังต้องตัดสินใจเกี่ยวกับการซิงค์เฟรมตั้งแต่เนิ่นๆ สำหรับการจับภาพแบบหลายมุมมอง หรือการวัดระยะแบบสเตเรโอ อาจจำเป็นต้องใช้การซิงค์สัญญาณ VSYNC แบบฮาร์ดแวร์ โปรดยืนยันว่าจะเปิดใช้งานการซิงค์แบบฮาร์ดแวร์หรือไม่ และระบบชิป (SoC) มีขาสัญญาณทริกเกอร์ภายนอกเพียงพอสำหรับจำนวนกล้องที่วางแผนไว้หรือไม่

รายการตรวจสอบการเลือกเซนเซอร์

• อินเทอร์เฟซและโหมดเอาต์พุต: ยืนยันว่าใช้อินเทอร์เฟซ MIPI CSI-2 หรือ DVP รวมทั้งจำนวนเลนของ MIPI (1, 2 หรือ 4 เลน)
• รูปแบบข้อมูล: บนแพลตฟอร์ม RK3576 การป้อนข้อมูล VICAP รองรับรูปแบบ RAW, RGB888 และรูปแบบ YUV ที่เลือกไว้ ISP แบบบูรณาการจะประมวลผลข้อมูล RAW แล้วแปลงเป็น YUV สำหรับใช้ในขั้นตอนต่อไปของระบบ ขณะที่สตรีม RGB และ YUV ที่จับภาพโดยตรงจะไม่ผ่าน ISP
• ความละเอียดและอัตราเฟรม: ตรวจสอบข้อกำหนดของเซนเซอร์แต่ละตัว จากนั้นยืนยันโหมดการทำงานรวมเมื่อมีกล้องหลายตัวทำงานพร้อมกัน ภาระงานทั้งหมดต้องอยู่ภายในขีดจำกัดการประมวลผลแบบเรียลไทม์ของ ISP
• ความเข้ากันได้ของแรงดันไฟเลี้ยง: เซนเซอร์ทั่วไปมักใช้แหล่งจ่ายไฟสามแบบ ได้แก่ AVDD สำหรับวงจรอะนาล็อก DVDD สำหรับส่วนกลางดิจิทัล และ DOVDD สำหรับระดับแรงดันของสัญญาณขาเข้า-ออก ตัวรับส่งสัญญาณ MIPI บนชิป RK3576 ใช้แรงดันไฟเลี้ยงคงที่ที่ 1.8 โวลต์ ดังนั้นโดยทั่วไปจึงแนะนำให้ใช้เซนเซอร์ที่มีค่า DOVDD เท่ากับ 1.8 โวลต์ หากค่า DOVDD ของเซนเซอร์ไม่ตรงกับระดับแรงดันของสัญญาณ I2C ที่โฮสต์ใช้ อาจเพิ่มตัวแปลงระดับแรงดัน (level shifter) ลงในบัสควบคุมความเร็วต่ำได้ แต่ห้ามติดตั้งตัวแปลงระดับแรงดันภายนอกไว้กับสัญญาณเชิงอนุพันธ์ MIPI ความเร็วสูงอย่างเด็ดขาด ฮาร์ดแวร์ต้องปฏิบัติตามลำดับการจ่ายไฟและตัดไฟตามที่ผู้ผลิตเซนเซอร์ระบุไว้ การเริ่มต้นใช้งานด้วยซอฟต์แวร์ขึ้นอยู่กับลำดับดังกล่าว หากจัดเวลาไม่ถูกต้องอาจทำให้เซนเซอร์ไม่สามารถเริ่มทำงานหรือสร้างภาพได้ ทั้งนี้ ยังต้องคำนวณกระแสสูงสุดที่ไหลผ่าน AVDD DVDD และ DOVDD ด้วย เพื่อให้มั่นใจว่า LDO แต่ละตัวบนแผงวงจรจะมีกำลังรองรับเพียงพอและมีระยะปลอดภัยในการออกแบบ
• บัสควบคุม: ยืนยันที่อยู่ I2C ของเซนเซอร์ สำหรับระบบกล้องแบบหลายตัว วางแผนวิธีจัดการกับที่อยู่ซ้ำกัน ไม่ว่าจะด้วยการเปลี่ยนที่อยู่ผ่านซอฟต์แวร์ (หากฮาร์ดแวร์รองรับ) หรือใช้สวิตช์ I2C ภายนอก
• สัญญาณนาฬิกาเข้า: ชิป RK3576 มีเอาต์พุต MCLK สำหรับเซนเซอร์ที่กำหนดค่าได้อย่างอิสระหลายช่อง แต่ละช่องสร้างขึ้นจากแหล่งสัญญาณนาฬิกาภายใน SoC แล้วส่งไปยังเซนเซอร์ผ่าน GPIO แบบมัลติเพล็กซ์ โดยสามารถเปิดใช้งานและกำหนดค่าแต่ละช่องแยกกันได้ ช่วงความถี่ที่กำหนดผ่านซอฟต์แวร์โดยทั่วไปสำหรับ MCLK หนึ่งช่องคือ 6 ถึง 48 เมกะเฮิร์ตซ์ หากเซนเซอร์ต้องการสัญญาณนาฬิกานอกช่วงนี้ ให้ใช้ออสซิลเลเตอร์ภายนอกเฉพาะทาง นอกจากนี้ ในการออกแบบระบบกล้องแบบหลายตัว ยังต้องตรวจสอบความขัดแย้งของการมัลติเพล็กซ์ขา (pin-multiplexing conflicts) ด้วย
• การออกแบบแหล่งจ่ายไฟและระบบระบายความร้อน: เซนเซอร์ความละเอียดสูงและอัตราเฟรมสูงใช้พลังงานมากขึ้น ดังนั้นควรประเมินภาระการใช้พลังงานบนแผงวงจร (board-level power load) และเส้นทางการถ่ายเทความร้อนของผลิตภัณฑ์ก่อนสรุปแบบฮาร์ดแวร์
• การควบคุมเลนส์ ตัวกรอง IR-cut และอุปกรณ์ให้แสง: ยืนยันว่ามีทรัพยากร GPIO เพียงพอสำหรับแอคทูเอเตอร์และไดรเวอร์แต่ละตัวที่จำเป็น
• ความเข้ากันได้ของโหมด HDR: ชิป RK3576 รองรับ DOL HDR, staggered HDR และ multi-frame HDR ก่อนเลือกเซนเซอร์ ให้ตรวจสอบว่ารูปแบบข้อมูล HDR และจังหวะเวลาของเซนเซอร์นั้นสอดคล้องกับ ISP และ VICAP ของ RK3576 หรือไม่

เมื่อเป็นไปได้ ให้เริ่มต้นด้วยเซนเซอร์ที่ผ่านการตรวจสอบแล้วโดยชุมชนแพลตฟอร์มหรือผู้จัดจำหน่ายโมดูล ซึ่งจะช่วยลดความเสี่ยงในการพัฒนาไดรเวอร์และการนำระบบขึ้นใช้งานจริงได้อย่างมาก

เซนเซอร์ที่เราได้รวมเข้ากับระบบแล้ว ได้แก่ Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4.1 MP), และ IMX662 (2 MP) รวมถึง onsemi AR0234 (2.3 MP) และ OMNIVISION OG02C1B (2 MP) หากโครงการของท่านต้องการเซนเซอร์ภาพอื่น กรุณาติดต่อ [email protected] เพื่อหารือเกี่ยวกับการรวมระบบแบบเฉพาะและการปรับแต่ง

ประเด็นสำคัญสำหรับการออกแบบ PCB

• การจัดเส้นทางสัญญาณ MIPI CSI: ควบคุมความต้านทานเชิงอนุพันธ์ให้อยู่ที่ 100 โอห์ม ±10% รักษาความต่างของความยาวระหว่างสายสัญญาณบวกและลบในแต่ละคู่เชิงอนุพันธ์ให้น้อยกว่า 5 มิล และรักษาความต่างของความยาวระหว่างเลนภายในพอร์ต CSI เดียวกันให้น้อยกว่า 200 มิล จัดเส้นทางสัญญาณ MIPI ให้ห่างจากนาฬิกาความเร็วสูง บัส DDR และเส้นทางจ่ายไฟกระแสสูง ห้ามจัดเส้นทางข้ามช่องว่าง (splits) บนระนาบอ้างอิง ทำให้เส้นทางสั้นที่สุดเท่าที่เป็นไปได้ โดยแนะนำให้สั้นกว่า 15 ซม. เส้นทางยิ่งยาว ความเร็วในการส่งข้อมูลสูงสุดที่รักษาได้อย่างเชื่อถือได้ยิ่งลดลง
• สัญญาณ MCLK เป็นนาฬิกาแบบ single-ended ความเร็วสูง รักษาระยะห่างจากคู่สาย MIPI เชิงอนุพันธ์ และหลีกเลี่ยงการวางคู่ขนานเป็นระยะทางยาว เพื่อลดการรบกวนแบบ crosstalk
• จัดเส้นทางสัญญาณ MIPI ความเร็วสูงให้ห่างจากแหล่งกำเนิดสัญญาณรบกวนที่รุนแรง เช่น แหล่งจ่ายไฟแบบสวิตชิ่ง (switching power supplies) และบัส DDR และจัดให้มีการป้องกันสัญญาณรบกวน (shielding) และการต่อกราวด์ที่เหมาะสม ตามความจำเป็นของโครงร่างวงจร
• การกรองพลังงาน: วางตัวเก็บประจุแบบแยกสัญญาณขนาด 0.1 ไมโครฟารัดและ 1 ไมโครฟารัดไว้ใกล้กับขาจ่ายไฟของเซนเซอร์แต่ละตัว อาจเพิ่มเฟอร์ไรต์บีดบนสาย AVDD เพื่อแยกรางไฟฟ้าส่วนแอนะล็อกออกจากสัญญาณรบกวนของวงจรดิจิทัล
• เซนเซอร์ความละเอียดสูงที่ทำงานที่อัตราเฟรมสูงสามารถปล่อยความร้อนได้มาก ซึ่งอุณหภูมิที่สูงขึ้นอาจทำให้เกิดสัญญาณรบกวนในภาพเพิ่มขึ้น และเกิดการเปลี่ยนแปลงของสี ดังนั้นจึงควรประเมินวิธีระบายความร้อนตั้งแต่ขั้นตอนการออกแบบฮาร์ดแวร์ ไม่ใช่หลังจากนำระบบขึ้นปฏิบัติการแล้ว
• การตรวจสอบการใช้ขาแบบหลายหน้าที่: ตรวจสอบการกำหนดค่าขา MIPI, DVP, I2C, MCLK และ GPIO ทั้งหมดเพื่อหาความขัดแย้งของฟังก์ชันร่วมกัน

ซอฟต์แวร์และท่อส่งการประมวลผลภาพ

• การเร่งฮาร์ดแวร์: ชิป RK3576 ประกอบด้วยตัวเร่งกราฟิก 2 มิติ RGA สำหรับดำเนินการต่าง ๆ เช่น การแปลงรูปแบบภาพ (เช่น จาก YUV เป็น RGB), การปรับขนาด และการหมุนภาพ การใช้ RGA แทนการประมวลผลด้วย CPU จะช่วยลดภาระงานของ CPU ได้อย่างมาก และมีความสำคัญต่อการรักษาเสถียรภาพของการทำงานที่อัตราเฟรมสูงอย่างต่อเนื่อง เช่น 1080p ที่ 30 เฟรมต่อวินาที
• การวางแผนการไหลของข้อมูลสำหรับ NPU: เมื่อโมเดลปัญญาประดิษฐ์ทำงานบน NPU ที่รวมอยู่ในชิป RK3576 ซึ่งมีประสิทธิภาพ 6 TOPS เส้นทางทั่วไปคือ การจับภาพจากกล้อง → การประมวลผลโดย ISP → การแปลงรูปแบบและการปรับขนาดโดย RGA → การอนุมานด้วย NPU → และการส่งออกสู่หน้าจอ ควรประเมินความหน่วง (latency) ที่เกิดขึ้นในแต่ละขั้นตอนระหว่างการออกแบบระบบ เพื่อให้มั่นใจว่าผลิตภัณฑ์โดยรวมจะบรรลุเป้าหมายด้านเวลาจริง

การกำหนดค่าตัวอย่างต่อไปนี้แสดงวิธีจัดสรรอินเทอร์เฟซกล้องที่มีอยู่สำหรับแอปพลิเคชันทั่วไปหลายประเภท