RK3576 Linux Kamera Başlatma: Sensör Sürücüsünden İlk Kareye

RK3576, endüstriyel görüş, akıllı güvenlik ve yapay zekâ tabanlı görüş terminalleri için Rockchip tarafından geliştirilen bir işlemcidir. ISP V3.9 görüntü sinyali işlemcisi (en fazla 16 MP’yi destekler) ve üç adet MIPI CSI-2 alıcı modülü (iki adet D-PHY V2.0 modülü ve bir adet C/D-PHY modülü) entegre eder. Her bir D-PHY kanalı maksimum 4,5 Gbps hızını destekler; her bir C-PHY üçlüsü 2,5 Gsps’yi; her bir CSI portu ise dört sanal kanalı destekler.

RK3576 kamera çözümü, Linux Media çerçevesi ve V4L2-subdev alt cihaz modeli etrafında tasarlanmıştır. Tam veri yolu şöyledir: görüntü sensörü → MIPI CSI alıcı denetleyicisi → VICAP video yakalama birimi → ISP V3.9. Sensör, bağımsız bir alt cihaz olarak çalışır ve MIPI CSI, VICAP ile ISP ile birlikte tam bir görüntü edinme boru hattı oluşturur.

RK3576 işlemcisi üç MIPI CSI alıcı kanalı sağlarken VICAP birden fazla görüntü akışını aynı anda alabilmektedir; ancak ISP V3.9 tek kanallı donanımdır ve yalnızca bir görüntü akışında ISP algoritması işlemini gerçekleştirebilir.

Proje hata ayıklama sürecinde ortaya çıkabilecek sorunlar arasında anormal I2C iletişimi, kararsız MIPI bağlantısı veya Media işlem hattının kurulamaması yer alabilir; bu durumlar sonucunda ilk görüntü karesinin çıktısı alınmaz. Bu makale, mühendislik uygulaması açısından tam bir hata ayıklama yaklaşımı sunar ve gömülü görüş sistemleri için hata ayıklama referansı olarak kullanılabilir.

1. Donanım ve Çekirdek Hazırlığı: Hata Ayıklamadan Önce Düşük Seviyeli Donanım Sorunlarını Giderin

Sürücü hata ayıklama sürecinde karşılaştığımız çoğu sorun, sürücü kodundan kaynaklanmaz; bunun yerine donanım bağlantıları, güç sıralaması veya eksik çekirdek yapılandırması gibi alt seviye sorunlardan kaynaklanır. Bu nedenle sensör sürücüsü geliştirme işlemine başlamadan önce, temel donanım ve çekirdek ortamı öncelikle kontrol edilip doğrulanmalıdır.

Temel donanım kontrolleri arasında sensörün güç hatları, I2C veri yolu, MIPI diferansiyel bağlantıları ve sıfırlama/güç kontrolü için kullanılan GPIO pinleri yer alır.

Sensörün güç alma sırası, hata ayıklama işleminin en kritik bölümlerinden biridir. AVDD, DOVDD ve DVDD gibi birden fazla güç hattı, sensör tarafından belirtilen güç alma sırasına kesinlikle uymalıdır. Besleme geriliminde aşırı sapma ya da güç alma/güç kapatma zamanlamasındaki hatalar, doğrudan I2C iletişim arızalarına ve sensörün normal dışı çalışmasına neden olabilir.

I2C veri yolu: Pin çoklu işlevlendirme yapılandırmasını ve sensörün köle adresini kontrol edin; ayrıca I2C çekme-yukarı dirençlerinin doğru şekilde monte edildiğini doğrulayın.

MIPI: Donanım tarafından kullanılan CSI kanalını, MIPI hatlarının sayısını ve diferansiyel sinyal hatlarındaki empedans uyumunu doğrulayın. Ayrıca RK3576’tan çıkan sensör referans saati (XVCLK) çıkışının doğru çalıştığını da doğrulayın.

Sıfırlama/güç kapatma kontrol pinleri: Etkin seviye mantığını (yüksek etkin/düşük etkin) belirleyin ve GPIO yapılandırmasının şemaya uygun olduğunu sağlayın.

Çekirdek yapılandırması: Medya alt sistemi, V4L2-subdev alt cihazları, MIPI CSI denetleyicisi ve PHY sürücüleri, VICAP ve ISP V3.9 için çekirdek seçeneklerini kontrol edin. Gerekli bir bileşen çekirdeğe dahil edilmemişse ya da modül olarak derlenmiş ancak doğru şekilde yüklenemiyorsa, medya işlem hattı kamera donanımını tanımlayamaz. Çekirdek derlendikten ve yazıldıktan sonra öncelikle her sürücü modülünün yükleme durumunu kontrol edin. dmesg günlüğünü inceleyin ve eksik modüller veya başlatma hataları gibi hataların olmadığını doğrulayın.

2. Cihaz Ağacı (DTS) Yapılandırması: Cihazlar Arasında Bağlantıların Kurulması

RK3576 kamera cihaz ağacı: Donanım kaynaklarını tanımlar ve sensör, MIPI CSI, VICAP ve ISP arasında görüntü işlem hattı bağlantılarını bağlamak için port ve uç nokta düğümlerini kullanır.

Sensör düğümü, ilgili I2C veri yolu düğümüne bağlıdır ve I2C köle adresini, sıfırlama pimini, güç-kapatma kontrol pimini ve sensör referans saatini tanımlar. Özellikler, CSI PHY donanımı hazır olana kadar sensör başlatılmasını geciktirmek üzere yapılandırılabilir; bu, hazır olmayan bir PHY nedeniyle ortaya çıkan zamanlama çatışmalarını önler. Sensör düğümünün portu içindeki uç nokta, MIPI CSI girişine işaret eder ve MIPI veri hatlarının sayısını belirtir.

MIPI CSI denetleyici düğümü iki bağlantı noktasına sahiptir: giriş, görüntü sensörüne bağlıdır ve çıkış, VICAP birimine bağlıdır. Daha sonra VICAP, görüntü verilerini ISP V3.9’a aktarır. Uç noktaların birbirlerini çift yönlü olarak başvurması gerektiğini unutmayın; her iki uçtaki remote-endpoint özellikleri de bire bir eşleşmelidir. Çift yönlü bağlama eşleşmiyorsa Media çerçevesi tam veri yolunu tanıyamaz. DTS’yi değiştirdikten, derledikten ve yükledikten sonra öncelikle dmesg günlüğünü inceleyerek tüm cihaz düğümlerinin normal durumda olduğunu ve sürekli ertelenmiş-probe hatalarının oluşmadığını doğrulayın. Tekrarlanan ertelenmiş probing genellikle yanlış bir GPIO, saat veya güç kaynağı yapılandırmasını gösterir.

3. Sensör Altcihaz Sürücüsü Geliştirme: V4L2-subdev Modeli

RK3576 platformu sensör sürücüsü, V4L2-subdev çerçevesi temel alınarak geliştirilmiştir. Sensör sürücüsü bir /dev/video düğümü oluşturmaz; yalnızca bir Medya alt cihazı varlığı olarak mevcuttur. Ana sorumlulukları arasında sensör kayıt yapılandırması, güç ve sıfırlama yönetimi, görüntü biçimi yapılandırması ve akış başlatma/durdurma kontrolü yer alır.

Sürücü ana hatlarıyla beş modüle ayrılır: I2C algılama, güç/sıfırlama kontrolü, mod kayıt tabloları, yastık-biçim yapılandırması ve akış başlatma/durdurma kontrolü.

Sürücü tarama aşamasında, sensör çip kimliği I2C üzerinden okunur ve çipin doğru şekilde tanındığı doğrulanır. Okunan kimlik başarısız olursa sorun giderme işlemi doğrudan I2C, güç ve sıfırlama ile ilgili donanım arızalarına odaklanabilir. Güç/sıfırlama işlevleri, tam sensör açma ve kapama sırasını uygular: Açma sırasında her bir güç rayı sırayla etkinleştirilir, sıfırlama pini belirtilen gecikme süresince aktif hâle getirilir, ardından sıfırlama serbest bırakılır ve sensörün içsel olarak kararlı hâle gelmesi için zaman verilir. Kapama sırası ise ters işlemlerden oluşur.

Mod kaydı tabloları, farklı çözünürlükler, kare hızları ve MIPI hızları için tam sensör kaydı yapılandırmalarını saklar. Üst katman yakalama parametrelerini değiştirdiğinde, sürücü buna karşılık gelen tam kayıt kümesini yazar. Pad-format arayüzü, medya-veri yolu görüntü biçimini yapılandırır; bu biçim, sensörün çıkışı olan Bayer biçimine (örneğin BGGR veya RGGB) kesinlikle uymak zorundadır. Yanlış bir yapılandırma doğrudan görüntü renk hatalarına neden olur. Akış-kontrol arayüzünde, stream_on komutuyla sensörün MIPI görüntü çıkışını etkinleştiren kayıt komutları yazılır; stream_off ise görüntü iletimini durdurur. Sürücü uygulandıktan sonra, sürücünün çekirdek içine derlenmesine ya da yüklenebilir bir çekirdek modülü olarak derlenmesine izin vermek amacıyla çekirdek Kconfig ve Makefile dosyalarına derleme seçenekleri eklenir.

4. Aşamalı Hata Ayıklama: İlk Kareyi Adım Adım Elde Etme

Görüntü yakalama işlemi hemen denenmemelidir. Üç aşamalı, katmanlı bir sorun giderme yaklaşımı kullanın: sürücü taramasının başarılı olduğunu doğrulayın → Medya işlem hattının tamamen bağlı olduğunu doğrulayın → V4L2 ile ham görüntüleri yakalayın.

Aşama 1: Sensör Sürücüsünün Başarıyla Tarandığını Doğrulayın

Sistem başlatıldıktan sonra dmesg çıktısını inceleyin ve sensör sürücüsü tarafından yazdırılan günlük iletilerini arayın. İlgili I2C veriyoluunu taramak ve sensörün cihaz adresinin algılanıp algılanmadığını doğrulamak için i2cdetect komutunu kullanın.

• Hiçbir I2C cihazı algılanmazsa: Sensör besleme gerilimini, sıfırlama mantığını, I2C donanımı lehimlemesini ve pin çoklu işlevlendirilmesini kontrol edin.
• I2C adresi algılanabiliyorsa ancak Çip Kimliği okuması normal değilse: I2C donanım yolu çalışıyordur ve sorun muhtemelen yanlış bir kayıt adresinden veya sensör modeli uyumsuzluğundan kaynaklanmaktadır.

Aşama 2: Medya Çerçevesi İşlem Hattını Doğrulayın

Medya cihazı varlıklarının listesini görüntülemek için media-ctl kullanın. Normal koşullarda, sensör, mipi_csi, vicap ve isp39 gibi alt cihaz varlıkları görünür olmalı; her bir pad bağlantı noktası doğru şekilde tanımlanmış olmalıdır.

• Sensör varlığı görünmüyorsa: sensör sürücüsü başlatma işlemi başarısız olmuştur.
• Varlıklar mevcut ancak bağlantı kesikse: DTS içindeki uç nokta çift yönlü eşleştirmesi yanlış yapılmıştır.

Hata ayıklama sırasında media-ctl, tüm işlem hattını elle yapılandırmak için kullanılabilir: varlıklar arasında bağlantılar kurulur ve her alt cihaz aşaması için görüntü biçimi, çözünürlük ve kanal yapılandırması ayarlanır. media-ctl’den gelen hatalar genellikle kanal sayısı, medya-veri yolu biçimi veya çözünürlük parametresinin sensörün donanım kapasitesini aşmasından kaynaklanır. Başarılı bir media-ctl yapılandırması, sensörden ISP’ye kadar olan yazılım yolunun kurulduğunu gösterir.

Aşama 3: V4L2 ile bir görüntü yakalayın ve ilk ham kareyi alın

VICAP/ISP, görüntü yakalaması için kullanıcı alanı giriş noktasını sağlayan /dev/video düğümünü oluşturur. Görüntü piksel biçimini ayarlamak, tek bir kareyi mmap aracılığıyla yakalamak ve Bayer RAW verilerini kaydetmek için v4l2-ctl kullanın. Oluşturulan RAW dosyasının boyutu teorik beklentiyi karşılıyorsa, ilk görüntü karesi başarıyla yakalanmıştır. Daha sonra RAW dosyası, orijinal Bayer görüntüsünü incelemek amacıyla profesyonel bir görüntü analiz aracıyla görüntülenebilir.

5. Yaygın Sorun Giderme Yöntemleri

• media-ctl, bağlantıyı yapılandırırken bir hata bildirir: Önce çift yönlü DTS uç noktası bağlamasını kontrol edin, ardından media-bus biçimi, çözünürlük ve kanal sayısı parametrelerini doğrulayın.
• V4L2 çerçeve yakalama süresi dolduğunda görüntü verisi çıkışı yoktur: Akışın sürücü içinde doğru şekilde başlatıldığını (stream_on), CSI PHY’nin saat kilidini sağladığını ve sensörün gerçekten MIPI veri akışı çıkarttığını doğrulayın.
• Bozuk görüntüler veya çizgili gürültü: Olası nedenler arasında yanlış MIPI saat hızı, yanlış kanal sayısı, Bayer deseni uyumsuzluğu veya sensör güç kaynağındaki aşırı dalgalanma yer alabilir.
• Ara sıra görüntü çıkışı veya seyrek kare düşmeleri: Sensörün açılışı/sıfırlanması zamanlaması gereksinimleri karşılamıyor olabilir ya da donanım güç kaynağı yeterince kararlı değildir.

Olgun bir RK3576 çözümümüz ve özel geliştirme, donanım uyarlama ve seri üretim uygulamaları konusunda profesyonel yeteneklerimiz bulunmaktadır. Farklı görüntü sensörleri ve çözünürlük/kare hızı gereksinimleri için donanım revizyonları, sürücü hata ayıklaması ve tam sistem optimizasyonu sağlayarak, endüstriyel görüş, akıllı güvenlik, yapay zeka görüş terminalleri ve diğer uygulamalarda özelleştirilmiş projeleri verimli bir şekilde destekleyebiliriz. Bize şuradan ulaşın: [email protected].