Panduan Kompatibilitas Sensor Kamera RK3576: Hal yang Harus Dikonfirmasi Sebelum Desain Perangkat Keras

Untuk pemilihan sensor kamera dan desain perangkat keras pada platform RK3576, beberapa poin kritis harus diputuskan sebelum pekerjaan skematik dimulai. Keputusan-keputusan ini secara langsung memengaruhi kinerja pencitraan dan kelayakan desain perangkat keras.

Kendala CSI/PHY dan ISP RK3576

RK3576 menawarkan arsitektur antarmuka kamera yang fleksibel, tetapi konfigurasinya harus direncanakan berdasarkan kebutuhan proyek sejak awal.

Dukungan antarmuka: SoC mendukung antarmuka kamera MIPI CSI-2 dan DVP, dengan MIPI CSI-2 memberikan keunggulan utama untuk desain saat ini.

RK3576 menyediakan satu antarmuka C/D-PHY dengan hingga empat lane, serta dua antarmuka D-PHY. Sumber daya PHY yang tersedia dapat dikonfigurasi sebagai dua port D-PHY berkapasitas 4-lane atau empat port D-PHY berkapasitas 2-lane. Hal ini memungkinkan desain multi-kamera, termasuk sistem multi-view yang umum digunakan dalam aplikasi keamanan dan robotika.

Catatan:

• Untuk desain multi-kamera, tetapkan sumber daya PHY dan lane sedini mungkin. Satu sensor tidak dapat mencakup dua PHY.
• Satu port CSI RK3576 dapat dikonfigurasi sebagai C-PHY atau D-PHY. Dalam mode D-PHY, port ini mendukung hingga 4,5 Gbps per lane; dalam mode C-PHY, port ini mendukung hingga 2,5 Gsps per trio. Saluran D-PHY lainnya mendukung hingga 2,5 Gbps per lane. Desain perangkat keras yang praktis sebaiknya menyisakan cadangan bandwidth sekitar 20%. Ketika laju data efektif mendekati atau melebihi batas antarmuka, kemungkinan terjadinya frame rusak, frame terlewat, dan gangguan gambar lainnya menjadi lebih tinggi.
• SoC juga mendukung antarmuka kamera DVP paralel untuk sensor lawas beresolusi lebih rendah. Karena fungsi DVP dan MIPI berbagi beberapa pin, penugasan pin harus diselesaikan cukup awal guna menghindari konflik sumber daya.

Spesifikasi ISP RK3576 dan Batas Pemrosesan

• RK3576 mengintegrasikan satu mesin ISP perangkat keras tunggal yang mendukung pemrosesan citra hingga 16 MP dan rentang dinamis HDR hingga 120 dB. Namun, dalam sistem multi-kamera, pengalihan beberapa aliran RAW melalui ISP berarti resolusi gabungan dan laju bingkai efektif dibatasi oleh kapasitas ISP serta bandwidth penerimaan MIPI CSI-2. Jika sensor menghasilkan YUV secara langsung dan melewati ISP, batasan utama bergeser ke bandwidth antarmuka MIPI dan bandwidth memori.

Contoh konfigurasi multi-kamera: 1 x 8 MP (4K pada 30 fps) + 2 x 2 MP (1080p pada 30 fps).

• Aplikasi multi-kamera juga memerlukan keputusan awal mengenai sinkronisasi bingkai. Pengambilan tampilan ganda (multi-view) dan pengukuran jarak stereo mungkin memerlukan sinkronisasi VSYNC perangkat keras. Konfirmasi apakah sinkronisasi perangkat keras akan diaktifkan dan apakah SoC memiliki cukup pin pemicu eksternal untuk jumlah kamera yang direncanakan.

Daftar Periksa Pemilihan Sensor

• Antarmuka keluaran dan modus: Konfirmasi MIPI CSI-2 atau DVP, serta jumlah jalur MIPI (1, 2, atau 4 jalur).
• Format data: Pada platform RK3576, input VICAP mendukung format RAW, RGB888, dan format YUV terpilih. ISP bawaan memproses data RAW dan mengonversinya ke YUV untuk jalur pemrosesan berikutnya. Aliran RGB dan YUV yang ditangkap secara langsung tidak melewati ISP.
• Resolusi dan laju bingkai: Periksa persyaratan masing-masing sensor, lalu validasi mode operasi gabungan ketika beberapa kamera berjalan secara bersamaan. Beban kerja total harus tetap berada dalam batas pemrosesan waktu-nyata ISP.
• Kompatibilitas catu daya rel: Sensor tipikal menggunakan tiga sumber daya: AVDD untuk rangkaian analog, DVDD untuk inti digital, dan DOVDD untuk tingkat tegangan I/O. PHY MIPI RK3576 menggunakan catu daya tetap 1,8 V, sehingga sensor dengan DOVDD 1,8 V umumnya lebih disukai. Jika tingkat DOVDD sensor tidak sesuai dengan tingkat I/O I2C host, penerjemah tingkat (level shifter) dapat ditambahkan ke bus kendali kecepatan rendah. Jangan memasang penerjemah tingkat eksternal pada sinyal diferensial MIPI berkecepatan tinggi. Perangkat keras harus mengikuti urutan pengaktifan (power-up) dan penonaktifan (power-down) yang ditentukan oleh produsen sensor. Inisialisasi perangkat lunak bergantung pada urutan tersebut; ketidaksesuaian waktu dapat mencegah sensor melakukan inisialisasi atau menghasilkan citra. Arus puncak pada AVDD, DVDD, dan DOVDD juga harus dihitung agar setiap LDO internal memiliki kapasitas dan margin desain yang memadai.
• Bus kontrol: Konfirmasi alamat I2C sensor. Untuk sistem multi-kamera, rencanakan cara menangani alamat duplikat, baik dengan mengubah alamat secara perangkat lunak (jika didukung) maupun dengan menggunakan saklar I2C eksternal.
• Masukan jam: RK3576 menyediakan beberapa keluaran MCLK sensor yang dapat dikonfigurasi secara independen. Setiap sinyal jam dihasilkan dari sumber jam internal SoC dan diarahkan ke sensor melalui GPIO ter-multiplex; masing-masing keluaran dapat diaktifkan dan dikonfigurasi secara terpisah. Rentang konfigurasi perangkat lunak khas untuk satu MCLK adalah 6 hingga 48 MHz. Jika sensor memerlukan sinyal jam di luar rentang tersebut, gunakan osilator eksternal khusus. Desain multi-kamera juga harus diperiksa untuk potensi konflik multiplexing pin.
• Desain daya dan termal: Sensor beresolusi tinggi dengan laju bingkai tinggi menarik daya lebih besar. Evaluasi beban daya tingkat papan dan jalur termal produk sebelum desain perangkat keras difinalisasi.
• Kontrol lensa, filter IR-cut, dan illuminator: Pastikan sumber daya GPIO yang tersedia cukup untuk setiap aktuator dan driver yang diperlukan.
• Kompatibilitas mode HDR: RK3576 mendukung DOL HDR, staggered HDR, dan multi-frame HDR. Sebelum memilih sensor, pastikan format data HDR dan timing-nya kompatibel dengan ISP dan VICAP RK3576.

Bila memungkinkan, mulailah dengan sensor yang telah divalidasi sebelumnya oleh komunitas platform atau pemasok modul. Hal ini dapat secara signifikan mengurangi risiko pengembangan driver dan proses bring-up.

Sensor yang telah kami integrasikan meliputi Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP), dan IMX662 (2 MP), serta onsemi AR0234 (2,3 MP) dan OMNIVISION OG02C1B (2 MP). Jika proyek Anda memerlukan sensor gambar lain, hubungi [email protected] untuk membahas integrasi khusus dan penyetelan.

Poin-Poin Utama untuk Desain PCB

• Rute MIPI CSI: Kendalikan impedansi diferensial ke 100 ohm +/-10%. Jaga ketidaksesuaian panjang P/N dalam setiap pasangan diferensial di bawah 5 mil, dan jaga ketidaksesuaian antar-lane dalam port CSI yang sama di bawah 200 mil. Rutekan sinyal MIPI jauh dari clock berkecepatan tinggi, DDR, dan jejak daya berarus tinggi. Jangan rutekan melewati celah pada bidang referensi. Buat jejak sependek mungkin secara praktis, lebih disukai di bawah 15 cm; semakin panjang rutenya, semakin rendah laju data maksimum yang dapat dipertahankan secara andal.
• MCLK adalah clock single-ended berkecepatan tinggi. Jaga jarak dari pasangan diferensial MIPI dan hindari jalur paralel panjang guna mengurangi crosstalk.
• Jauhkan rute MIPI berkecepatan tinggi dari sumber kebisingan kuat seperti catu daya switching dan bus DDR, serta sediakan pelindung dan grounding yang memadai bila tata letak mengharuskannya.
• Penyaringan daya: Pasang kapasitor bypass 0,1 µF dan 1 µF di dekat setiap pin catu daya sensor. Manik ferit dapat ditambahkan pada AVDD untuk mengisolasi rel analog dari kebisingan sirkuit digital.
• Sensor resolusi tinggi yang beroperasi pada laju bingkai tinggi dapat menghamburkan daya dalam jumlah besar. Peningkatan suhu dapat meningkatkan derau gambar dan menyebabkan pergeseran warna; oleh karena itu, solusi termal harus dievaluasi selama desain perangkat keras, bukan setelah proses bring-up.
• Tinjauan multiplexing pin: Periksa semua penugasan MIPI, DVP, I2C, MCLK, dan GPIO guna mendeteksi konflik fungsi bersama.

Perangkat Lunak dan Jalur Pemrosesan Gambar

• Akselerasi perangkat keras: RK3576 mencakup akselerator grafis 2D RGA untuk operasi seperti konversi format gambar (misalnya, YUV ke RGB), penskalaan, dan rotasi. Penggunaan RGA alih-alih pemrosesan berbasis CPU dapat mengurangi beban CPU secara signifikan dan penting untuk mempertahankan operasi laju bingkai tinggi yang stabil, seperti 1080p pada 30 fps.
• Perencanaan alur data NPU: Ketika model AI dijalankan pada NPU terintegrasi 6 TOPS RK3576, jalur khasnya adalah penangkapan kamera, pemrosesan ISP, konversi format dan penskalaan RGA, inferensi NPU, serta keluaran tampilan. Latensi di setiap tahap harus dievaluasi selama desain sistem untuk memastikan produk secara keseluruhan memenuhi target waktu nyata (real-time) yang ditetapkan.

Konfigurasi referensi berikut mengilustrasikan cara antarmuka kamera yang tersedia dapat dialokasikan untuk beberapa aplikasi umum.