RK3576 Линукс камера приношење: од сензорског драйвера до првог кадра

RK3576 је процесор који је развио Rockchip за индустријску визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуелну визуел Интегрира ИСП В3.9 процесор слика сигнала (подржава до 16 МП) и три МИПИ ЦСИ-2 модула пријемника (два Д-ФИВИ В2.0 модула и један Ц/Д-ФИВИ модул). Свака Д-ФИВ-линија подржава максималну брзину од 4,5 Гбит/с, свако Ц-ФИВ трио подржава 2,5 Гпс, а сваки ЦСИ порт подржава четири виртуелна канала.

Решење за камеру RK3576 дизајнирано је око Линукс Медиа оквира и модела подређаја V4L2-subdev. Потпуни пут података је: сензор слике → контролер пријемника МИПИ ЦСИ → јединица за снимање видео снимка ВИЦАП → ИСП В3.9. Сензор ради као независан подуређај и ради заједно са МИПИ ЦСИ, ВИЦАП и ИСП-ом како би формирао комплетан цев за стицање слике.

Иако РК3576 пружа три МИПИ ЦСИ пријемника канала и ВИЦАП може да прима више сличних потокова истовремено, ИСП В3.9 је једноканални хардвер и може извршити обраду ИСП алгоритама на само једном струји слике у исто време.

Током дебагирања пројекта, проблеми могу укључивати абнормалну И2Ц комуникацију, нестабилну МИПИ везу или неуспех у успостављању медијске цеви, што на крају спречава излазак првог кадра слике. Овај чланак износи комплетан приступ дебагирању са перспективе инжењерске имплементације и може служити као референца за дебагирање уграђене визије.

1. у вези са Припрема хардвера и кернела: елиминисање проблема са хардвером ниског нивоа пре дебаговања

У дебагувању драйвера, већина проблема које наилазимо нису узроковани самим кодом драйвера, већ ниским нивоом проблема као што су хардверска жица, секвенцирање енергије или нестала конфигурација језгра. Стога, пре почетка развоја драйвера сензора, прво треба проверити и верификовати основно хардверско и језгрово окружење.

Кључне хардверске проверке укључују сензорске путеве за напајање, И2Ц аутобусу, МИПИ диференцијалне везе и ресетови / контроле снаге GPIO пина.

Секвенцирање сензора је један од најкритичнијих делова дебаговања. Уколико је потребно, да се у овом случају не допуне да се додају додатни елементи. Превише одступања напона на подајућу струју или неисправно време пуњења/угашања може директно изазвати неуспехе у комуникацији И2Ц и абнормално функционисање сензора.

И2Ц аутобус: Проверите конфигурацију и адресу сензора и потврдите да су И2Ц резистори правилно напуњени.

МИПИ: Потврдите ЦСИ канал који користи хардвер, број МИПИ лента и импеданс у складу са диференцијалним сигналним линијама. Такође потврдите да излаз референтног сата сензора (XVCLK) са РК3576 ради исправно.

Ресетирање/спуштање управљачких пина: Одредите логику активног нивоа (активна висока/активна ниска) и уверите се да се конфигурација GPIO одговара шеми.

Конфигурација кернела: Проверите опције кернела за подсистем Медиа, подуређаје V4L2-субдев, контролер МИПИ ЦСИ и пилоре ПХИ, ВИЦАП и ИСП В3.9. Ако се потребна компонента није уграђена у језгро, или је изграђена као модул, али се не учињује правилно, медијски пипелине неће моћи да идентификује хардвер камере. Након што је језгро изграђено и запаљено, прво проверите статус учитавања сваког модула возача. Прегледајте дневник dmesg и потврдите да нема грешки као што су недостајући модули или неуспех иницијализације.

2. Уколико је потребно. Конфигурација дрвета уређаја (DTS): успостављање веза између уређаја

RK3576 дрво уређаја камере: Описује хардверске ресурсе и користи узорке за пристаништа и крајне тачке за повезивање веза за цевове слике између сензора, MIPI CSI, VICAP и ISP.

Сензорски чвор је причврштен испод одговарајућег И2Ц шипског чвора и дефинише И2Ц рабску адресу, ресетни пин, пин за управљање искључивањем енергије и референтни сат сензора. Свойства се могу конфигурисати тако да одложе иницијализацију сензора док хардвер CSI PHY није спреман, избегавајући трке у времену узроковане непопремним PHY-ом. Крајна тачка унутар порта сензорског чвора указује на улаз MIPI CSI и одређује број МIPI трака података.

МИПИ ЦСИ контролер узел садржи два порта: улаз је повезан са сензором слике, а излаз је повезан са ВИЦАП јединице. ВиКАП затим изводи податке о слици на ИСП В3.9. Имајте на уму да крајње тачке морају да се односе једна на другу двосмерно, а својства удаљене крајње тачке на оба краја морају да одговарају један на један. Ако двонасочно везивање не одговара, Медиа фреймворк не може препознати комплетну пут података. Након модификације, компилације и мигљења ДТС-а, прво прегледајте дневник ДМЕСГ-а како бисте потврдили да су сви чворови уређаја у нормалном стању и да се не јављају постојане грешке одложеног истраживања. Поновно одлагање провјерења обично указује на погрешну конфигурацију ГПИО, сатима или ресурса енергије.

3. Уколико је потребно. Развој дрейвера сензорског подуреда: V4L2-subdev модел

Дривер сензора платформе RK3576 развијен је на основу V4L2-subdev оквира. Дривер сензора не ствара /dev/video чвор; постоји само као ентитет медијског подуређаја. Њене главне одговорности укључују конфигурацију регистра сензора, управљање нападом и ресетом, конфигурацију формата слике и контролу почетка / заустављања струје.

Возач је углавном подељен на пет модула: И2Ц сонда, контрола напајања/ресетовања, табеле регистарских режима, конфигурација у формату падова и контрола почетка/стапа струје.

Током фазе сонде возача, сензорски ИД чипа се чита преко И2Ц-а како би се проверило да ли је чип правилно препознат. Ако се одчитање ИД не успе, решавање проблема може се директно фокусирати на И2Ц, напон и повраћање на хардверске грешке. Функције напајања/ресетовања спроводе комплетан секвенс напајања и искључивања сензора: током напајања, свака пруга за напајање се по реду укључује, ресетовачки пин се наглашава за одређено одлагање, затим се ресетовање ослобађа и сензору се Схема искључења ради обратне операције.

Табеле регистарских режима чувају комплетне конфигурације регистарских сензора за различите резолуције, брзине кадрова и брзине МИПИ. Када горњи слој прекида параметре уласка, возач записује одговарајући комплетан сет регистара. Интерфејс у формату падова конфигурира формат слике медијске аутобусе, који мора строго одговарати излазу Бајер формата сензора (као што су БГГР или РГГБ). Неправилна конфигурација директно узрокује грешке у боји слике. Интерфејс за контролу струје користи струју_он за писање регистарских команда које омогућавају излаз слике MIPI сензора, док струја_оф зауставља пренос слике. Након што је драйвер имплементиран, опције компилације додају се у кернел Kconfig и Makefile тако да се драйвер може или уградити у кернел или компилирати као модул кернела који се може учитавати.

4. Уколико је потребно. Сценаризовано дебагирање: Добијте први кадр кораком по кораку

Не препоручује се покушај снимања одмах. Користите слојени приступ решавању проблема у три корака: потврдите да је сонда возача успешна → проверите да ли је медијски цевопровод потпуно повезан → ухватите сирове слике са В4Л2.

Корак 1: Проверите да ли је сензорски возач успешно проналазио

Након покретања система, прегледајте dmesg и потражите поруке из дневника које је штампао драйвер сензора. Користите i2cdetect да бисте скенирали одговарајућу I2C шипку и потврдили да ли је детектована адреса сензора роба.

• Ако се не открије И2Ц уређај: Проверите снагу сензора, ресетују логику, И2Ц хардверско лемљење и мултиплексирање пина.
• Ако се И2Ц адреса може детектовати, али је Чип ИД одчитање абнормално: И2Ц хардверски пут ради, а проблем је вероватно нетачна адреса регистра или неисправност сензор-модела.

Фаза 2: Проверите медијски рамковод

Користите медију-ctl да бисте прегледали листу ентитета медијских уређаја. У нормалним условима, ентитети подређаја као што су сензор, мипи_цси, викап и исп39 треба да буду видљиви, а сваки порт паде треба да буде правилно препознат.

• Ако сензорски ентитет није видљив: сонда за управљање сензором није успела.
• Ако су ентитети постојећи, али је веза прекинута: двонасочно спајање крајних тачака у ДТС-у није исправно.

Током дебагирања, медија-цТЛ се може користити за ручну конфигурацију целе цеви: успостављање веза између ентитета и постављање формата слике, резолуције и конфигурације пута за сваку фазу подређаја. Грешеви из медија-цТЛ-а су генерално узроковани бројем лен, форматом медија-буса или параметром резолуције који прелази хардверске могућности сензора. Успешна медијско-цТЛ конфигурација указује на то да је установљен пут софтвера од сензора до ИСП-а.

Фаза 3: Захватите слику са В4Л2 и добијте први сирови кадр

VICAP/ISP генерише /dev/video чвор, који служи као улазна тачка за снимање слике. Користите v4l2-ctl да бисте поставили формат пиксела слике, ухватили један кадр кроз mmap и сачували Бајер РАВ податке. Ако се генерација величине RAW датотеке одговара теоријском очекивању, први оквир слике је успешно снимљен. РАВ датотека се затим може прегледати професионалним алатом за анализу слике како би се прегледала оригинална слика Бајера.

5. Појам Уобичајени приступи за решавање проблема

• медиа-ctl извештава о грешци при конфигурисању везе: Прво проверите двосмерно везивање крајних тачака ДТС, а затим проверите формат медија-буса, резолуцију и параметре броја лента.
• Времена снимања V4L2 кадра без излаза података о слици: Потврдите да се stream_on исправно извршава унутар драйвера, да је CSI PHY постигао блокада часописа и да сензор заправо излази MIPI струју података.
• Повређене слике или тракаста бука: Могући узроци укључују нетачан МИПИ сат, нетачан број ленти, неисправност Бајер модела или прекомерно таласање на напајање сензора.
• Излаз слике са прекидима или спорадични пад кадра: Време покретања/ресетовања сензора можда не испуњава захтеве или снабдевање хардверским напоном можда није довољно стабилно.

Имамо зрело РК3576 решење и професионалне способности у прилагођеном развоју, адаптацији хардвера и имплементацији масовне производње. За различите сензоре слика и захтеве резолуције / брзине кадра, можемо пружити ревизије хардвера, дебагирање драйвера и оптимизацију комплетног система како бисмо ефикасно подржали прилагођене пројекте у индустријском визију, паметну безбедност, терминале за визију АИ и друге апликације. Контактирајте нас на [email protected].