RK3576 Linux Camera Bring-Up: Daripada Pemandu Sensor ke Bingkai Pertama

RK3576 ialah pemproses yang dibangunkan oleh Rockchip untuk penglihatan industri, keselamatan pintar, dan terminal penglihatan AI. Ia mengintegrasikan pemproses isyarat imej (ISP) V3.9 (menyokong sehingga 16 MP) dan tiga modul penerima MIPI CSI-2 (dua modul D-PHY V2.0 dan satu modul C/D-PHY). Setiap saluran D-PHY menyokong kadar maksimum 4.5 Gbps, setiap trio C-PHY menyokong 2.5 Gsps, dan setiap port CSI menyokong empat saluran maya.

Penyelesaian kamera RK3576 direka berdasarkan rangka kerja Media Linux dan model subperanti V4L2-subdev. Laluan data lengkapnya ialah: sensor imej → pengawal penerima MIPI CSI → unit tangkapan video VICAP → ISP V3.9. Sensor beroperasi sebagai subperanti bebas dan berfungsi bersama MIPI CSI, VICAP, dan ISP untuk membentuk saluran pengumpulan imej yang lengkap.

Walaupun RK3576 menyediakan tiga saluran penerima MIPI CSI dan VICAP boleh menerima beberapa aliran imej secara serentak, ISP V3.9 ialah perkakasan saluran tunggal dan hanya boleh menjalankan pemprosesan algoritma ISP pada satu aliran imej pada satu masa.

Semasa penyahpepijatan projek, isu-isu yang mungkin berlaku termasuk komunikasi I2C yang tidak normal, pautan MIPI yang tidak stabil, atau kegagalan menubuhkan saluran media, yang akhirnya menghalang kerangka imej pertama daripada dihasilkan. Artikel ini menghuraikan pendekatan penyahpepijatan lengkap dari perspektif pelaksanaan kejuruteraan dan boleh dijadikan rujukan untuk penyahpepijatan penglihatan terbenam.

1. Penyediaan Perkakasan dan Kernel: Mengelakkan Isu Perkakasan Tahap Rendah Sebelum Penyahpepijatan

Dalam penyahpepijatan pemacu, kebanyakan masalah yang kita hadapi bukan disebabkan oleh kod pemacu itu sendiri, tetapi oleh isu peringkat rendah seperti pemasangan wayar perkakasan, urutan bekalan kuasa, atau konfigurasi kernel yang tidak lengkap. Oleh itu, sebelum memulakan pembangunan pemacu pengesan, perkakasan asas dan persekitaran kernel harus diperiksa dan disahkan terlebih dahulu.

Pemeriksaan perkakasan utama termasuk saluran kuasa pengesan, bas I2C, pautan berbeza MIPI, dan pin GPIO kawalan semula/kuasa.

Urutan penghidupan pengesan merupakan salah satu bahagian paling kritikal dalam penyahpepijatan. Beberapa saluran kuasa seperti AVDD, DOVDD, dan DVDD mesti mengikut urutan penghidupan yang ditetapkan oleh pengesan secara ketat. Sisihan voltan bekalan yang berlebihan atau masa penghidupan/pemadaman kuasa yang tidak betul boleh secara langsung menyebabkan kegagalan komunikasi I2C dan operasi pengesan yang tidak normal.

Bas I2C: Periksa konfigurasi pelbagai fungsi pin dan alamat slav pengesan, serta sahkan bahawa perintang tarikan-atas I2C dipasang dengan betul.

MIPI: Sahkan saluran CSI yang digunakan oleh perkakasan, bilangan jalur MIPI, dan pencocokan impedans pada talian isyarat berbeza. Juga sahkan bahawa jam rujukan sensor (XVCLK) yang dikeluarkan daripada RK3576 beroperasi dengan betul.

Pin kawalan tetap semula/matikan kuasa: Tentukan logik tahap aktif (aktif tinggi/aktif rendah), dan pastikan konfigurasi GPIO sepadan dengan skematik.

Konfigurasi kernel: Semak pilihan kernel untuk subsistem Media, subperanti V4L2-subdev, pemacu pengawal dan PHY MIPI CSI, VICAP, dan ISP V3.9. Jika komponen yang diperlukan tidak dibina ke dalam kernel, atau dibina sebagai modul tetapi gagal dimuatkan dengan betul, saluran Media tidak akan dapat mengenal pasti perkakasan kamera. Selepas kernel dibina dan dimuatkan, semak terlebih dahulu status pemuatan setiap modul pemacu. Semak log dmesg dan sahkan tiada ralat seperti modul hilang atau kegagalan pemasangan.

2. Konfigurasi Pohon Peranti (DTS): Menubuhkan Sambungan Antara Peranti

Pepohonan peranti kamera RK3576: Ia menghuraikan sumber daya perkakasan dan menggunakan nod port serta nod titik hujung untuk mengikat pautan saluran imej antara sensor, MIPI CSI, VICAP, dan ISP.

Nod sensor dilekatkan di bawah nod bas I2C yang sepadan dan menakrifkan alamat slav I2C, pin penetapan semula, pin kawalan pemadaman kuasa, dan jam rujukan sensor. Ciri-ciri boleh dikonfigurasikan untuk melambatkan penyediaan awal sensor sehingga perkakasan CSI PHY bersedia, mengelakkan persaingan masa yang disebabkan oleh PHY yang tidak bersedia. Titik hujung di dalam nod port sensor menunjuk ke input MIPI CSI dan menentukan bilangan jalur data MIPI.

Nod kontroler MIPI CSI mengandungi dua port: input disambungkan kepada sensor imej, dan output disambungkan kepada unit VICAP. VICAP kemudian menghantar data imej kepada ISP V3.9. Perhatikan bahawa titik hujung mesti merujuk antara satu sama lain secara dua hala, dan sifat remote-endpoint di kedua-dua hujung mesti sepadan satu-ke-satu. Jika pengikatan dua hala tidak sepadan, kerangka Media tidak dapat mengenali laluan data yang lengkap. Selepas mengubah, mengkompilasi, dan memuat naik DTS, semak log dmesg terlebih dahulu untuk memastikan semua nod peranti berada dalam keadaan normal dan tiada ralat deferred-probe berterusan berlaku. Percubaan deferred probing berulang biasanya menunjukkan konfigurasi GPIO, jam, atau sumber kuasa yang salah.

3. Pembangunan Pemandu Subperanti Sensor: Model V4L2-subdev

Pemacu sensor platform RK3576 dibangunkan berdasarkan rangka kerja V4L2-subdev. Pemacu sensor tidak mencipta nod /dev/video; ia wujud hanya sebagai entiti subperanti Media. Tanggungjawab utamanya termasuk konfigurasi daftar sensor, pengurusan kuasa dan penyusunan semula, konfigurasi format imej, serta kawalan permulaan/hentian aliran.

Pemacu ini terutamanya dibahagikan kepada lima modul: pengesanan I2C, kawalan kuasa/penyusunan semula, jadual daftar mod, konfigurasi format pad, serta kawalan permulaan/hentian aliran.

Semasa peringkat pengesan pemandu, ID Cip Pengesan dibaca melalui I2C untuk mengesahkan bahawa cip dikenali dengan betul. Jika bacaan ID gagal, pembaikan masalah boleh difokuskan secara langsung pada kegagalan perkakasan berkaitan I2C, kuasa, dan tetapan semula. Fungsi kuasa/tetapan semula melaksanakan urutan lengkap penghidupan dan pemadaman pengesan: semasa penghidupan, setiap saluran bekalan diaktifkan secara berurutan, pin tetapan semula diaktifkan untuk tempoh kelengahan yang ditetapkan, kemudian tetapan semula dilepaskan dan pengesan diberi masa untuk menstabilkan diri secara dalaman. Urutan pemadaman menjalankan operasi songsang.

Jadual-jadual daftar mod menyimpan konfigurasi daftar sensor lengkap untuk pelbagai resolusi, kadar bingkai, dan kadar MIPI. Apabila lapisan atas menukar parameter tangkapan, pemacu menulis set daftar lengkap yang sepadan. Antara muka format-pad mengkonfigurasikan format imej media-bus, yang mesti sepenuhnya sepadan dengan format Bayer yang dihasilkan oleh sensor (seperti BGGR atau RGGB). Konfigurasi yang salah secara langsung menyebabkan ralat warna imej. Antara muka kawalan aliran menggunakan stream_on untuk menulis arahan daftar yang membolehkan output imej MIPI sensor, manakala stream_off menghentikan penghantaran imej. Selepas pemacu dilaksanakan, pilihan pembinaan ditambah ke dalam Kconfig dan Makefile kernel supaya pemacu boleh dibina ke dalam kernel atau dikompil sebagai modul kernel yang boleh dimuatkan.

4. Pengesanan Masalah Berperingkat: Dapatkan Bingkai Pertama Langkah demi Langkah

Tidak digalakkan untuk cuba menangkap imej secara serta-merta. Gunakan pendekatan penyelesaian masalah berlapis dalam tiga peringkat: sahkan bahawa pengesan pemacu berjaya → sahkan bahawa saluran Media sepenuhnya tersambung → tangkap imej mentah dengan V4L2.

Peringkat 1: Sahkan Bahawa Pengesan Pemacu Sensor Berjaya

Selepas sistem dinyalakan, semak log dmesg dan cari mesej log yang dicetak oleh pemacu sensor. Gunakan i2cdetect untuk mengimbas bas I2C yang sepadan dan sahkan sama ada alamat peranti tambahan sensor dikesan.

• Jika tiada peranti I2C dikesan: Semak bekalan kuasa sensor, logik tetapsemula, penyolderan perkakasan I2C, dan pendaraban pin.
• Jika alamat I2C dapat dikesan tetapi bacaan ID Cip tidak normal: laluan perkakasan I2C berfungsi, dan masalah kemungkinan besar disebabkan oleh alamat daftar yang salah atau ketidaksesuaian model sensor.

Peringkat 2: Sahkan Saluran Kerangka Media

Gunakan media-ctl untuk melihat senarai entiti peranti Media. Dalam keadaan normal, entiti subperanti seperti sensor, mipi_csi, vicap, dan isp39 harus kelihatan, dengan setiap port pad dikenal pasti secara betul.

• Jika entiti sensor tidak kelihatan: proses pengesanan pemacu sensor gagal.
• Jika entiti wujud tetapi pautan terputus: pasangan hujung-pangkal dua arah dalam DTS adalah tidak betul.

Semasa proses menyahpepijat, media-ctl boleh digunakan untuk mengkonfigurasi saluran keseluruhan secara manual: menubuhkan pautan antara entiti dan menetapkan format imej, resolusi, serta konfigurasi jalur untuk setiap peringkat subperanti. Ralat daripada media-ctl biasanya disebabkan oleh bilangan jalur, format media-bus, atau parameter resolusi yang melebihi keupayaan perkakasan sensor. Konfigurasi media-ctl yang berjaya menunjukkan bahawa laluan perisian dari sensor ke ISP telah ditubuhkan.

Peringkat 3: Ambil imej menggunakan V4L2 dan dapatkan bingkai raw pertama

VICAP/ISP menjana nod /dev/video, yang berfungsi sebagai titik masuk ruang pengguna untuk penangkapan imej. Gunakan v4l2-ctl untuk menetapkan format piksel imej, menangkap satu bingkai melalui mmap, dan menyimpan data RAW Bayer. Jika saiz fail RAW yang dijana sepadan dengan jangkaan teoretikal, bingkai imej pertama telah berjaya ditangkap. Fail RAW tersebut kemudian boleh dilihat menggunakan alat analisis imej profesional untuk memeriksa imej Bayer asal.

5. Pendekatan Penyelesaian Masalah Biasa

• media-ctl melaporkan ralat semasa mengkonfigurasi pautan: Pertama, semak pengikatan hujung titik DTS dua arah, kemudian sahkan format media-bus, resolusi, dan parameter bilangan saluran (lane-count).
• Penangkapan bingkai V4L2 mengalami masa tunggu habis tanpa output data imej: Sahkan bahawa arahan stream_on dilaksanakan dengan betul di dalam pemacu, bahawa CSI PHY telah mencapai kunci jam (clock lock), dan bahawa sensor benar-benar mengeluarkan aliran data MIPI.
• Imej rosak atau gangguan berjalur: Punca yang mungkin termasuk kadar jam MIPI yang tidak betul, bilangan saluran yang tidak betul, ketidakpadanan corak Bayer, atau riak berlebihan pada bekalan kuasa sensor.
• Output imej tidak konsisten atau penurunan bingkai secara rawak: Masa nyala-balik/tetapkan-semula sensor mungkin tidak memenuhi keperluan, atau bekalan kuasa perkakasan mungkin tidak cukup stabil.

Kami mempunyai penyelesaian RK3576 yang matang dan kemahiran profesional dalam pembangunan tersuai, penyesuaian perkakasan, serta pelaksanaan pengeluaran pukal. Untuk pelbagai sensor imej dan keperluan resolusi/kadar bingkai, kami boleh menyediakan semakan perkakasan, penyahpepijatan pemacu, dan pengoptimuman sistem lengkap bagi menyokong projek tersuai secara cekap dalam bidang penglihatan industri, keselamatan pintar, terminal penglihatan AI, dan aplikasi lain. Hubungi kami di [email protected].