RK3576 Linux камераны хөрвүүлэх: Сенсорын драйвераас анхны зураг хүртэл

RK3576 нь Rockchip компанид хөгжүүлсэн, индустриал харуул, ухааны аюулгүй бүс, AI харуул төхөөрөмжүүдийн хүрээнд ашиглагдах процессор. Түүнд ISP V3.9 зургийн сигналын боловсруулагч (хамгийн ихдээ 16 МП-т хүртэл дэмжинэ) ба гурван MIPI CSI-2 хүлээн авагч модуль (хоёр D-PHY V2.0 модуль ба нэг C/D-PHY модуль) орж буй. Хүртэл хүртэл D-PHY лейн 4.5 Гбит/с хурдтай ажиллах чадвартай, хүртэл хүртэл C-PHY трио 2.5 Гсps хурдтай, хүртэл хүртэл CSI порт дөрвөн виртуал хувьсагчийг дэмжинэ.

RK3576 камерийн шийдэл Linux Media хүрээ ба V4L2-subdev дэд төхөөрөмжүүдийн загварын дагуу зохион бүтээдгүүд. Бүтэн өгөгдлийн зам: зургийн сенсор → MIPI CSI хүлээн авагч контроллер → VICAP видео бүтээх нэгж → ISP V3.9. Сенсор нь үл хамаарах дэд төхөөрөмжүүдийн хүрээнд ажиллаж, MIPI CSI, VICAP ба ISP-тэй хамтран бүтэн зургийн цуглуулалтын гуурс үүсгэнэ.

Харин RK3576 нь гурван MIPI CSI хүлээн авах канал үүрдүүлж, VICAP нь олон зураг урсгалыг нэгэн зэрэг хүлээн авах чадвартай бөлөг бөлгөөн, ISP V3.9 нь ганц каналт хөдөлмүүр бөлөг бөлгөөн бөлгөөн, ISP алгоритмд зураг урсгалын нэгийн дээр л бүтэлгүй ажиллах чадвартай.

Төсөл засварлалтын үед асуудал нь I2C холбооны хэвийн бус ажиллах, MIPI холбооны тогтвортой бус байх, эсвэл Media pipeline-ыг бүтээх чадваргүй байх гэх мэт шалтгаануудаар үүсжүүрдүүлж, үр дүнд нь анхны зураг фрейм гаргаж чадахгүй байх. Энэ статт нь инженерийн хэрэгжүүлэлтийн үзүүлэлтээс бүтэлгүй засварлалтын бүтэн хандлага тавьж, суулгамжлагч хараа системийн засварлалтад тулгуур болой.

1. Төхөөрөмж ба ядро бэлдмүүл: Засварлалт үед доод түвшний төхөөрөмжийн асуудлыг урьдчилан арилгах.

Жолоочийн засварлалт үед бид тулгардаг ихэнх асуудлууд жолоочийн кодоос үүсдэггүй, харин холбогдох техник хангамж, цахилгаан холболт, цахилгааны дараалал, ядралын тохиргоо гэх мэт доод түвшний асуудлуудаас үүсдэг. Түүнгүйр, сенсорын жолоочийн хөгжүүлэлт эхлэхийн өмнө, суурь техник хангамж ба ядралын орчин шалгаж, баталж үзэх ёстой.

Гол техник хангамжийн шалгах зүйлс нь сенсорын цахилгаан хүчдлийн шинэс, I2C шинэс, MIPI дифференциал холболтууд ба дахин ажиллуулах/цахилгааныг удирдах GPIO хөлүүд юм.

Сенсорын цахилгааныг идэвхжүүлэх дараалал засварлалтын хамгийн чухал хэсгүүдийн нэг юм. AVDD, DOVDD, DVDD гэх мэт олон цахилгаан хүчдлийн шинэсүүд сенсорын тодорхойлсон цахилгааныг идэвхжүүлэх дараалалд түүнд хүртэл хатуу нийцэх ёстой. Хүчдлийн хазайлт хэт их буюу цахилгааныг идэвхжүүлэх/идэвхгүйжүүлэх хугацаа буруу бөлгөөн I2C харилцан үйлдлийн алдаа ба сенсорын хэвийн бус ажиллалтад шууд шалтгаан болой.

I2C шинэс: Хөлүүдийн олон утгатай тохиргоо ба сенсорын хүүхдийн хаягийг шалгаж, I2C-ийн дээш татагч эсүүд зөв суурьшигдсаныг баталж үзэх.

MIPI: Төхөөрөмжийн ашиглаж буй CSI канал, MIPI лейн тоо, дифференциал сигнал шугамд импеданс тохируулалт та бүрдүүлж. Мөн RK3576-ын сенсорын түлхүүр цаг (XVCLK) гаралт төвдүүлж зөв ажиллаж буйг та бүрдүүлж.

Дахин тохируулах/хүчдэл хасах удирдлагын хөндлөн зүүнүүд: Идэвхт логик түвшнийг (идэвхт дээд/идэвхт доод) тодорхойлох ба GPIO-н тохиргоо схемтэй нийцжүүр бүрдүүлэх.

Ядроны тохиргоо: Медиа дэдсистем, V4L2-дэдтөхөөрөмжүүд, MIPI CSI контроллер ба PHY драйверүүд, VICAP ба ISP V3.9-н ядроны сонголтуудыг шалгах. Хэрэв шаардлагатай бүрдүүлэлт ядронд бүтээгдээгүй эсвэл модуль хэлбэрт бүтээгдсэн, гэтэл зөв ачаалагдахгүй бол, медиа хоолой систем камерийн харилцан үйлдэл хийх харилцан үйлдэл хийхгүй. Ядро бүтээгдсэн ба флэшлэгдсэн дараа драйвер модулүүдийн ачаалагдах төлөвийг анхдагч шалгах. dmesg лог-ыг үзэж, модулүүд дутаж буй эсвэл анхдагч тохируулалт амжилтгүй буй алдаанууд бүү бүтээх.

2. Төхөөрөмжийн модуль (DTS) тохиргоо: Төхөөрөмжүүдийн хоорондын холбоосуудыг бүрдүүлэх

RK3576 камерийн төхөөрөмжийн мод: Түүнд хөдөлмүрт нөөцүүд тодорхойлогдож, сенсор, MIPI CSI, VICAP ба ISP-ийн хооронд зурагны хоолойн холбоосыг холбогдож буй порт ба төгсгөл цэцүүрүүд ашиглагдаж.

Сенсорын цэцүүр нь харгалзах I2C шинэлгийн цэцүүр доор бүтээдэг бөгөөд I2C хүүрдүүр хаяг, дахин тохируулах холболт, хүчдлийг унтраах холболт ба сенсорын тулгуур цагийн сигнал тодорхойлогдож. Сенсорын анхдагч тохируулалтыг CSI PHY төхөөрөмж бүтэн бүрдсэн үед хойшлуулах үүрдүүд тохируулалт хийж болой, бүтэн бүрдсэн PHY-гүйн улмаас үүсэх цагийн дисбалансыг саархуулж болой. Сенсорын цэцүүр доторх портын төгсгөл цэцүүр MIPI CSI оролтыг зааж, MIPI өгөгдлийн замын тоог тодорхойлж.

MIPI CSI удирдлагын зангилаа хоёр хагас-холболт агуулна: оролт зураг бүтээгч датчикт холбогдож, гаралт VICAP нэгжт холбогдож. Дараа нь VICAP зургийн өгөгдлийг ISP V3.9-д гаргаж өгнө. Тандахуйц нь, төгсгөл цэгүүд хооронд хоёр талаас холболт үүрдүүлж, хоёр талд бүх холбогдож буй төгсгөл цэгүүдийн шинж чанарууд нь нэг-нэднүүрт харгалзаж байх ёстой. Хэрвээ хоёр талаас холболт тохирохгүй бол, Media хүрээлэнгийн систем бүтэн өгөгдлийн замыг танихгүй. DTS-г өөрчилж, компиляци хийж, флэш хийж дараа нь dmesg лог-гийн тухайд анхны шалгахуйц нь бүх төхөөрөмжийн зангилаа нормаль төлөвт байгаа эсвэл урт хугацааны хүлээлт-шалгах алдаа үүсэж байгаа эсвэл үүсэж байгаа гэдгийг баталж. Давтамжит хүлээлт-шалгах нь ихэвчлэн бүрмөсөн бүүрт GPIO, цаг, эсвэл хүчний нөөцүүдийн тохиргоо нь бүүрт гэдгийг зааж өгнө.

3. Датчик дэд-төхөөрөмжийн жишээ програм хөгжүүлэх: V4L2-subdev загвар

RK3576 платформын сенсорын драйвер V4L2-subdev хүрээлэнд суурилж бүтээдэг. Сенсорын драйвер /dev/video зангилаа үүсгэхгүй; тэр зөвхөн Media subdevice нь ёсойн бүтэц юм. Түүний гол үүрэгт сенсорын бүртгэлийн тохиргоо, хүчдэл ба дахин ажиллуулах удирдлага, зургийн форматын тохиргоо, урсгалыг эхлүүлэх/зогсоох удирдлага оройн.

Драйвер нь гол төлөөр дөрвөн модульд хуваагдаж: I2C probe, хүчдэл/дахин ажиллуулах удирдлага, режимын бүртгэлийн хүснэгтүүд, pad-форматын тохиргоо, урсгалыг эхлүүлэх/зогсоох удирдлага.

Жолоочийн шалгах үед сенсорын чипийн ID-г I2C-г ашиглан уншиж, чип зөв танигдаж буйг шалгана. Хэрэв ID-г уншихад алдаа гарвал, I2C, хүчлүүр, дахин тохируулах холбоосын техникийн гэмтлийг шууд шалгаж болно. Хүчлүүр/дахин тохируулах функц нь сенсорын бүтнэд хүчлүүр өгөх ба хүчлүүр сугарах дарааллыг гүйцэтгэнэ: хүчлүүр өгөх үед нүүр бүрийн хүчлүүр дараалан идэвхжүүнэ, дахин тохируулах холбоосын хүчлүүр тодорхой хугацааны дараа идэвхжүүнэ, дараа нь дахин тохируулах холбоосын хүчлүүр сугарах ба сенсорын дотоод тогтвортой байдалд хугацаа өгөнө. Хүчлүүр сугарах дараалал нь урвуу үйлдлүүдийг гүйцэтгэнэ.

Режимын бүртгэлийн хүснэгтүүд нь өөр өөр нарийвчлал, кадр хурд, MIPI хурдны хувьд дүүрэн сенсорын бүртгэлийн тохиргоог хадгалдаг. Дээд түвшнийг зураг бүүрдүүлэх параметрүүдийн хооронд шилжүүлэх үед драйвер харгалзах дүүрэн бүртгэлийн олонлогийг бичдэг. Пад-форматын интерфейс нь медиа-шинэс зураг форматыг тохирулдаг, үүнд сенсорын Байер форматын гаралт (жишээ нь BGGR эсвэл RGGB) түүнтэй гундаг тааруулж үлдэх ёстой. Алдаат тохиргоо шууд зурагт өнгөний алдаа үүсгэдэг. Урсгал-удирдлагын интерфейс нь stream_on командыг ашиглан сенсорын MIPI зураг гаралтыг идэвхжүүлдэг бүртгэлийн командаа бичдэг, харин stream_off урсгалын дамжуулалтыг зогсоодог. Драйвер хэрэгжүүлсний дараа ядрэмтгүй хүснэгт (Kconfig) ба Makefile файлд драйверыг ядрэмтгүй хүснэгт дотроо бүүрдүүлэх ёсой, эсвэл ачаалж болох ядрэмтгүй модуль хэлбэрт компиляци хийх боломжийг үүсгэдэг сонголтууд нэмдэг.

4. Алхам алхам шалгах: Анхны кадрыг алхам алхам авах

Зураг бүтээхийг шууд оролдож үзэх нь зөвлөхгүй. Гурван үе шаттаяа дараалан шийдвэрлэх арга хэрэглэнэ: драйверын сорилт амжилттай гүйцэтгэгдсэн бүтэн шүүлт → Медиа хоолой бүтэн холбогдсон бүтэн шүүлт → V4L2-ын тусламжтайгаар анхны зургийг бүтээх.

1-р үе шат: Сенсорын драйверын сорилтын амжилттай гүйцэтгэлд шүүлт хийх

Систем ачаалагдсанд хойш dmesg-ийг үзэж, сенсорын драйверын хэвлэсэн лог мессежүүдийг хайх. i2cdetect утилитаар харгалзах I2C шинэсийг хайж, сенсорын хүүхдийн хаяг илрүүлж болохыг шүүлт хийх.

• Хэрэв I2C төхөөрөмж илрүүлэгдсэнгүй: сенсорын цахилгаан хангамж, дахин тохируулалт логик, I2C техник холболтын хавчлаг, холболтын хөндлөн зүйлсийн холболт шүүлт хийх.
• Хэрэв I2C хаяг илрүүлэгдсэн, гэвч чипийн ID уншилт хэвийн бус: I2C техник зам ажиллаж буй, асуудал нь ихэвчлэн бүтэн бүртгэлийн хаяг бүтэн бус юм үү, сенсорын загварын тааралдахгүй бүтэн бус.

2-р үе шат: Медиа хүрээний хоолойд шүүлт хийх

Медиа төхөөрөмжийн нэрсийн жагсаалтыг харахын тулд media-ctl ашиглана. Хэвийн нөхцөлд сенсор, mipi_csi, vicap, isp39 гэх мэт дэд төхөөрөмжийн нэрс харагдах ёстой, мөн тус бүрд зөвхөн холбогдох холболт (pad port) зөв танигдаж байх ёстой.

• Хэрэв сенсорын нэр харагдахгүй бол: сенсорын драйверын хамгаалалт (probe) амжилтгүй дуусжээ.
• Хэрэв нэрс оршин байдаг, гэтэд холболт салгаж байвал: DTS-д төгсгөл цэгүүдийн хоёр чиглэлтүүдийн хослол (endpoint bidirectional pairing) буруу тодорхойлогджээ.

Алдаа засах үед media-ctl-г бүх урсгалын замыг гараар тохируулахад ашиглаж болно: нэрс хоорондын холболтуудыг бүрдүүлж, тус бүрд зургийн формат, хэмжээ, мөн шинэлзүүр (lane) тохиргоог тодорхойлж. media-ctl-гүй үүсгэж буй алдаанууд ихэвчлэн шинэлзүүрийн тоо, медиа-шинэлзүүрийн формат, хэмжээ гэх мэт параметрүүд сенсорын техник боломжийг давж буй шалтгаанаар үүсдэг. Успехтой media-ctl тохиргоо нь сенсороос ISP хүртэлх програм хангамжийн зам бүрдүүлдэг гэдгийг илтгэндэг.

3-р үе: V4L2 ашиглан зургийг бүрдүүлж, анхны хүрд (raw) кадрыг авах

VICAP/ISP нь зураг бүүрдүүлэх үйлдлийн хэрэглэгчийн түвшний оролт цэс болох /dev/video зангилааг үүсгэнэ. Зургийн пиксел форматыг тохируулах, mmap ашиглан ганц кадр бүүрдүүлэх, Байер RAW өгөрмүүдийг хадгалахын тулд v4l2-ctl хэрэглэнэ. Хэрэв үүсгэсэн RAW файлын хэмжээ онолын утгаас харгалзан таарах бол, анхны зургийн кадр амжилттай бүүрдүүлэгдсэн. Дараа нь професиональ зургийн шинжилгээний хэрэгсэл ашиглан анхны Байер зургийг шинжилж болно.

5. Түгээмүүр асуудлуудыг шийдвэрлэх нүүдмүүр арга

• холбоосыг тохируулах үед media-ctl алдаа мэдээлнэ: Нөхцөлдүүр DTS төгсгөл цэсийн холбогдож буйг нь түрүүн шалгана, дараа нь media-bus формат, бүүрдүүлэлтийн хэмжээ, лайн тоо гэсэн параметрүүдийг баталж үзнэ.
• V4L2 кадр бүүрдүүлэлт хугацаа дуусаж, зургийн өгөрмүүд гарахгүй: Удирдлагын програмд stream_on зөв гүйцэтгэгдсэн бүүрдүүлэлт, CSI PHY-н цагийн хорхойд хүртүүлсэн бүүрдүүлэлт, сенсорын MIPI өгөрмүүдийн урсгалыг үнэнхүү гаргаж буйг баталж үзнэ.
• Хоосон зураг үүсгэх эсвэл зургаас шугаман дуурайлт үүсгэх: Боломжит шалтгаанууд нь MIPI цагийн давтамж буруу, хөндлөн замын тоо буруу, Bayer загварын тааралдахгүй байх, сенсорын хүчдэлийн хангамж дээр хэт их хэлбэлзэл байх.
• Зургийн гаралт хооронд хүчдэл унаж, кадр алдагдах: Сенсорын хүчдэл өгөх/дахин тохируулах хугацаа шаардлагад нь хүрэхгүй байх, эсвэл техник хангамжийн хүчдэл хангалттай тогтвортой биш байх.

Бид RK3576-ийн бүрэн хөгжүүлсэн шийдэлтэй, ажилтны хүчирхүйлүүлэлт, техник хангамжийн адаптаци, масс үйлдвэрлэлд хэрэгжүүлэлтийн професиональ чадварын түвшинд биднүүр. Янз бүрийн зургийн сенсор, зургийн хэмжээ/кадрын давтамж шаардлагад нь харгалзан бид техник хангамжийн шинэчлэл, драйверын засварлалт, бүрэн системийн сүүлчний тохируулалтыг санал болгож, индустриал зургийн харах, оюун ухааны аюулгүй бүс, ИИ зургийн төхөөрөмж, бусад хэрэглээсүүр хүртэлх салбаруудад хүртээмүүр хөгжүүлсэн төслүүдийг үр дүнтэй дэмжинө. Биднүүр холбоо тогтооно уу [email protected].