RK3576 Linux-kameran käynnistys: sensoriohjaimesta ensimmäiseen kuvakehykseen

RK3576 on Rockchipin kehittämä prosessori teolliseen näköön, älykkääseen turvallisuuteen ja tekoälyyn perustuvaan näkötekniikkaan. Se sisältää ISP V3.9 -kuvasignaaliprosessorin (joka tukee enintään 16 megapikseliä) ja kolme MIPI CSI-2 vastaanotinmoduulia (kaksi D-PHY V2.0 -moduulia ja yhden C/D-PHY -moduulin). Jokainen D-PHY-linja tukee enintään 4,5 Gbps:n siirtonopeutta, jokainen C-PHY-kolmikko tukee 2,5 Gsps:n nopeutta ja jokainen CSI-portti tukee neljää virtuaalikanavaa.

RK3576:n kameraratkaisu perustuu Linux Media -kehitysympäristöön ja V4L2-subdev -alalaitemalliin. Täydellinen datapolku on: kuvantunnistin → MIPI CSI -vastaanottimen ohjausyksikkö → VICAP-videohakuyksikkö → ISP V3.9. Tunnistin toimii itsenäisenä alalaitteena ja toimii yhdessä MIPI CSI:n, VICAP:n ja ISP:n kanssa muodostaen täydellisen kuvanhakuputken.

Vaikka RK3576 tarjoaa kolme MIPI CSI -vastaanottokanavaa ja VICAP voi vastaanottaa useita kuvavirtoja samanaikaisesti, ISP V3.9 on yksikanavainen laitteistoratkaisu, joka pystyy suorittamaan ISP-algoritmin käsittelyä vain yhdelle kuvavirralle kerrallaan.

Projektin virheenkorjauksen aikana esiintyviä ongelmia voivat olla epänormaalia I2C-viestintää, epävakaa MIPI-yhteys tai Media-piipelin muodostumisen epäonnistuminen, mikä lopulta estää ensimmäisen kuvakehyksen tulostamisen. Tässä artikkelissa esitetään täydellinen virheenkorjausmenetelmä insinöörin toteutusnäkökulmasta, ja sitä voidaan käyttää viitteeksi upotettujen näköjärjestelmien virheenkorjauksessa.

1. Laitteiston ja ytimen valmistelu: Poistetaan alatasoiset laitteistongelmat ennen virheenkorjausta

Ajurin virheenkorjauksessa suurin osa ongelmista johtuu ei niinkään ajurikoodista itsestään, vaan alapuolella olevista ongelmista, kuten laitteiston kytkennöistä, virtajärjestyksestä tai puuttuvasta ytimen määrittelystä. Siksi ennen anturin ajurin kehityksen aloittamista on tarkistettava ja varmistettava ensin perustavanlaatuinen laitteisto ja ytimen ympäristö.

Tärkeimpiin laitteistotarkistuksiin kuuluvat anturin virtalähteet, I2C-väylä, MIPI-erovaihtoehtoiset yhteydet sekä nollaus-/virtakäytön GPIO-napit.

Anturin käynnistysjärjestys on yksi tärkeimmistä virheenkorjausvaiheista. Useat virtalähteet, kuten AVDD, DOVDD ja DVDD, täytyy käynnistää täsmälleen anturin määrittelemän järjestyksen mukaan. Liiallinen jännitteen poikkeama tai virheellinen käynnistys-/sammutusajastus voi suoraan aiheuttaa I2C-viestintävirheitä ja epätavallista anturin toimintaa.

I2C-väylä: Tarkista pinnin monikäyttökonfiguraatio ja anturin alalaitteen osoite, ja varmista, että I2C-vetovastukset on asennettu oikein.

MIPI: Vahvista, mikä CSI-kanava on käytössä laitteistossa, MIPI-tietokanavien lukumäärä ja differentiaalisignaalilinjojen impedanssiasovitus. Vahvista myös, että RK3576:n tuottama sensorin viitekello (XVCLK) toimii oikein.

Nollaus-/virranpoistohallintapinnit: Määritä aktiivitaso (aktiivinen korkealla/aktiivinen alhaalla) ja varmista, että GPIO-konfiguraatio vastaa kytkentäkaaviota.

Ytimen konfiguraatio: Tarkista ytimen asetukset mediasubjärjestelmälle, V4L2-subdev-alalaitteille, MIPI CSI -ohjaimelle ja PHY-ohjaimille, VICAP:lle ja ISP V3.9:lle. Jos vaadittu komponentti ei ole rakennettu ytimeen tai se on rakennettu moduulina, mutta sitä ei ladattu oikein, mediapiiri ei pysty tunnistamaan kameran laitteistoa. Kun ydin on rakennettu ja ladattu, tarkista ensin jokaisen ohjaimen moduulin lataustila. Tarkista dmesg-loki ja varmista, ettei siinä ole virheitä, kuten puuttuvia moduuleja tai alustusvirheitä.

2. Laitepuun (DTS) konfiguraatio: Laitteiden välisten yhteyksien muodostaminen

RK3576-kameralaitepuu: Se kuvaa laitteistoresursseja ja käyttää portti- ja päätepistesolmuja sidoksissa kuvaputken yhteyksiä anturin, MIPI CSI:n, VICAP:n ja ISP:n välillä.

Anturisolmu on liitetty vastaavan I2C-väylän solmuun ja määrittelee I2C-slave-osoitteen, nollauspinin, virrankatkaisun ohjauspinin ja anturin viitereferenssikellon. Ominaisuuksia voidaan määrittää viivästyttämään anturin alustusta, kunnes CSI PHY -laitteisto on valmis, mikä estää aikataulutusriitoja aiheuttavan valmiudeton PHY:n.

MIPI CSI -ohjainsolmun solmu sisältää kaksi porttia: syöte on kytketty kuvasensoriin ja tuloste VICAP-yksikköön. VICAP lähettää sitten kuvadataa ISP V3.9:lle. Huomaa, että päätepisteiden on viitattava toisiinsa kahdella suunnalla, ja molemmissa päissä olevien remote-endpoint-ominaisuuksien on vastattava toisiaan yksi-yhteen. Jos kahdella suunnalla tapahtuva sidonta ei täsmää, Media-kehys ei tunnista kokonaista datapolkua. Kun olet muokannut, kääntänyt ja ladannut DTS-tiedoston, tarkista ensin dmesg-loki varmistaaksesi, että kaikki laitesolmut ovat normaalissa tilassa eikä kestäviä viivästettyjä tutkimusvirheitä esiinny. Toistuva viivästetty tutkimus viittaa yleensä virheelliseen GPIO-, kellon- tai virtalähteeseen liittyvään määrittelyyn.

3. Sensorialialaiteajurin kehitys: V4L2-subdev-malli

RK3576-alustan anturiohjain on kehitetty V4L2-subdev-kehystön perusteella. Anturiohjain ei luo /dev/video-solmua; se on olemassa ainoastaan Media-alalaitteena. Sen päävastuulla ovat anturin rekisterikonfigurointi, virran ja nollauksen hallinta, kuvamuodon konfigurointi sekä virran käynnistys/pysäytys -ohjaus.

Ohjain on jaettu pääasiassa viiteen moduuliin: I2C-probing, virran ja nollauksen ohjaus, tilarekisteritaulukot, pad-muodon konfigurointi sekä virran käynnistys/pysäytys -ohjaus.

Ajurin tutkintavaiheessa anturin piirin tunnus (Chip ID) luetaan I2C-liitännän kautta varmistaakseen, että piiri tunnistetaan oikein. Jos tunnuksen lukeminen epäonnistuu, vianetsintää voidaan keskittää suoraan I2C-, virran- ja nollaukseen liittyviin laitteistovioihin. Virran/nollauksen toiminnot toteuttavat täydellisen anturin käynnistys- ja sammutusjärjestyksen: käynnistyksessä jokainen jännitealue otetaan käyttöön peräkkäin, nollauspinni aktivoituu määritellyn viiveen ajan, jonka jälkeen nollaus poistetaan ja anturille annetaan aikaa sisäisesti vakautua. Sammutusjärjestys suorittaa vastakkaiset toiminnot.

Tilarekisteritaulukot tallentavat täydelliset anturin rekisterikonfiguraatiot eri resoluutioille, kuvataajuudelle ja MIPI-nopeuksille. Kun ylemmän tason ohjelma vaihtaa kuvauksen parametreja, ajuri kirjoittaa vastaavan täydellisen rekisterijoukon. Pad-muotoisen rajapinnan avulla määritetään mediasisäinen kuvamuoto, jonka on täsmättävä täsmälleen anturin tuottamaan Bayer-muotoon (esimerkiksi BGGR tai RGGB). Virheellinen konfiguraatio aiheuttaa suoraan kuvan värivirheitä. Virtausohjausrajapinnassa käytetään stream_on-komentoa rekisterikäskyjen kirjoittamiseen, jolla otetaan anturin MIPI-kuvatuotos käyttöön, kun taas stream_off keskeyttää kuvansiirron. Kun ajuri on toteutettu, sen rakennusvaihtoehdot lisätään ytimen Kconfig- ja Makefile-tiedostoihin, jotta ajuri voidaan joko koota suoraan ytimeen tai koota ladattavana ytimen moduulina.

4. Vaiheittainen virheenkorjaus: Saada ensimmäinen kuva vaiheittain

Kuvien ottamista ei suositella yrittävän välittömästi. Käytä kolmivaiheista, kerroksittaista vianetsintämenetelmää: varmista ensin, että ohjain tunnistetaan onnistuneesti → tarkista, että mediasuodatin on täysin kytketty → ota raakakuvia V4L2:n avulla.

Vaihe 1: Varmista, että anturiohjain tunnistetaan onnistuneesti

Järjestelmän käynnistyksen jälkeen tarkista dmesg-tuloste ja etsi siitä anturiohjaimen tulostamia lokiviestejä. Käytä i2cdetect-työkalua skannaaksesi vastaavaa I2C-väylää ja varmistaaksesi, että anturin slaviosoite havaitaan.

• Jos I2C-laitetta ei havaita: tarkista anturin virransyöttö, nollauslogiikka, I2C-piirin kuumasolderointi ja pinnien monikäyttö.
• Jos I2C-osoitetta voidaan havaita, mutta piirin tunnuslukua (Chip ID) ei saada luettua oikein: I2C-hardwarepolku toimii, ja ongelma johtuu todennäköisesti väärästä rekisteriosoitteesta tai väärästä anturimallista.

Vaihe 2: Varmista mediasuodattimen (Media Framework Pipeline) toiminta

Käytä media-ctl-työkalua media-laitteiden entiteettien luettelon tarkasteluun. Normaaleissa olosuhteissa alalaitteiden, kuten sensorin, mipi_csi:n, vicap:n ja isp39:n entiteetit tulisi näkyä, ja jokaisen pad-portin tulisi tunnistua oikein.

• Jos sensorientiteettiä ei näy: sensoriajuri ei ole onnistunut käynnistymään.
• Jos entiteetit ovat olemassa, mutta yhteys on katkennut: DTS-tiedostossa määritetty päätepisteen kaksisuuntainen paritus on virheellinen.

Vianetsinnän aikana media-ctl-työkalua voidaan käyttää koko putken manuaaliseen määrittelyyn: muodosta yhteydet entiteettien välille ja aseta kuvamuoto, resoluutio ja kanavakonfiguraatio jokaiselle alalaitteelle. media-ctl:n virheet johtuvat yleensä liian suuresta kanavamäärästä, media-bus-muodosta tai resoluutioparametristä verrattuna sensorin laitteellisiin kykyihin. Onnistunut media-ctl-konfiguraatio osoittaa, että ohjelmistopolku sensorilta ISP:lle on saatu luotua.

Vaihe 3: Ota kuva V4L2:n avulla ja hanki ensimmäinen raakakehys

VICAP/ISP luo /dev/video-solmun, joka toimii käyttäjätason sisääntulopisteenä kuvien tallentamiseen. Käytä v4l2-ctl-työkalua asettaaksesi kuvan pikselimuodon, ottaaksesi yhden kuvakehyksen mmap:n kautta ja tallentaaksesi Bayer-RAWDATAN. Jos luodun RAW-tiedoston koko vastaa teoreettista odotusta, ensimmäinen kuvakehys on otettu onnistuneesti. RAW-tiedoston voi sitten tarkastella ammattimaisella kuvatarkastustyökalulla tarkistaaksesi alkuperäisen Bayer-kuvan.

5. Yleisimmät vianetsintämenetelmät

• media-ctl ilmoittaa virheestä linkin määrittämisen yhteydessä: Tarkista ensin kaksisuuntainen DTS-päätepisteen sidonta, sen jälkeen media-bus-muoto, resoluutio ja kanavamääräparametrit.
• V4L2-kehyksen tallennus aikakatkeaa ilman kuvadataa: Varmista, että stream_on suoritetaan oikein ajurissa, että CSI PHY on saavuttanut kellon lukituksen ja että anturi todellakin tuottaa MIPI-datavirtaa.
• Vioittuneet kuvat tai raidallinen kohina: Mahdollisia syitä ovat virheellinen MIPI-kellotaajuus, virheellinen kanavamäärä, Bayer-kuviin liittyvä yhteensopivuusongelma tai liiallinen heilahtelu kuvantunnistimen virtalähteessä.
• Epäsäännöllinen kuvan tuotto tai satunnaiset kehysten menetykset: Kuvantunnistimen käynnistys-/nollausaikataulut eivät ehkä täytä vaatimuksia, tai laitteiston virtalähde ei ole riittävän vakaa.

Meillä on kypsä RK3576-ratkaisu ja ammattimaiset kyvyt räätälöityihin kehitykseen, laitteistosovituksiin ja sarjatuotannon toteutukseen. Erilaisiin kuvantunnistimiin ja eri resoluutio- ja kuvataajuusvaatimuksiin voimme tarjota laitteistopäivityksiä, ajurien virheenkorjausta ja kokonaisjärjestelmän optimointia, jotta tuemme tehokkaasti räätälöityjä projekteja teollisessa näkösovelluksissa, älykkäissä turvallisuusratkaisuissa, tekoälyyn perustuvissa näköpäätelaitteissa ja muissa sovelluksissa. Ota meihin yhteyttä osoitteeseen [email protected].