Fahimta Bayer Pattern da Image Signal Processor a cikin embedded vision

A duniya na yau da kullun, muna yi amfani da taswirai masu rukuni da alama, kuma masu tsari. Amma akwai sirri mai zama: sensorin kamerun suna da wani hali na koyaushe. Kullun piksel zai iya gano tafarki kuma ba zai iya gano laun ba. Amsa wadannan bayanin koyaushe zuwa taswira na laun zai nemo sistema mai yawa. A tsakiyar wannan sistema shine Bayer pattern (Bayer filter) da image signal processor (ISP). Wadannan biyu abubuwan suna kama kamar hannen da shugaban kamerun, suka yi aiki ta hanyar yin taswirai daga bayanin rawa na iluminashin zuwa taswirar fina.

Kamar wani masu amfani da kamerun, wannan rubutun zai bayyana Bayer pattern ta yawa, zai bayyana yadda ISP ya yi aiki, da zai fahimta yadda wannan teknologiya na muhimmanci zai iya gudunmawa aikinsu kamar gano abubuwa a sistemomin embedded vision. Mu za mu bawa bayanin masu amfani da kamerun daga shawara na inggiliya, don tabbatawa yadda kullun abubuwa na muhimmanci na tsari na taswira suka yi aiki.

Wani ne Bayer?

Don Allahi bayani na Bayer pattern, kuma yana da muhimmanci ka fahimci yadda kamerun na digital sun aiki. Sensor na kamera yana daga cikin miliyonin diode na photosensitive (pixels). Idan photon suka ci gaba na waɗannan pixels, sun haɗa charge na electrical wanda farko na ya zama da intensity na light. Amma wannan pixels ba su iya fahimci farko na rangi na light; suka rubuta shine intensity na su.

Bayer pattern, wanda aka kira shi a lokacin da aka yi amfani da shi ne Bayer filter, shi ne halin da aka fiyade. Yana daga cikin array na tiny na filters-red (R), green (G), da blue (B)-wanda aka sa akwai su a gaba na kowa daga cikin pixels. Wannan array na filter ya bada damuwa ga kowa daga cikin pixels don samun da rubuta shine intensity na farko na light wanda ke gaba na shi. Misali, pixel da aka ci gaba na red filter ya rubuta shine intensity na red light.

Don haka, raw data wanda sensor ya bayar da shi ba shi image na RGB mai rangi, amma shi ne monochrome mosaic pattern, wanda aka kira shi "Bayer Raw Data." Kowa daga cikin pixels a wannan data yana da information daga shine farko na channel na rangi.

Yaya Green Yana Da Dawa A Bayer Pattern

Idan a jiya da kwalla a cikin bayerni na yau da kullum, za ku gano cewa yana da dawa yawa na green pixels idan da red da blue pixels. Wannan ana kira shi RGGB (ko GRBG, BGGR, da sauran) arrangement.

Wannan design ba ta zama abin da ya zuwa a matsayin tsoro; ta taba ne a cikin al'amarta na mata yadda suka yi amfani da light. Retina na mutum tana da kyau sosai a green light, wanda ya nufi muhimanci na brightness (ko "grayscale") ta saba da green channel. Ta hanyar da a raba dawa yawa na pixels a green, camera ta iya samun da dawa yawa na information na brightness, wanda ya nufi da clarity mai kyau da karamin noise idan ya sao image, da kuma ya nufi da image ta zama mai kyau da sharp.

Farko Na GGB da BGGR

Yaya yanzu yana da dawa yawa na Bayer pattern arrangements, wanda RGGB da BGGR suna ne dawa biyu na yau da kullum. Idan kowane suka taba "double green" principle, farko na arrangement suna farko.

A cikin tsari na RGGB, bayi na kuɗi da kuɗi na baki suna gaba daya daga bayi na sabu. A cikin tsari na BGGR, bayi na sabu suna gaba daya daga bayi na kuɗi da kuɗi na baki. Tashi na waɗannan tsarorru yana iya kara aiki na ISP na baya, amma wadanda suka fiye da algorizam na demosaicing.

Misali, tsarorru biyu suna iya kara kuma kuma bayi na gaba daya a lokacin hisabinsu na interpolation. Don halittun halitta na kuma halittun halitta, tashi na tsari na Bayer yana iya zama ta hanyar rukuni na rukuni na chip na ISP kuma yana bukatar koyaushe na hardware da software don tabbatawa cikakken kwalitas na hoton na baya.

Shin ISP (Image Signal Processor) shine wani abu?

Processor na isharar hoton (ISP) shi ne mai sanya aiki na jihar hoton. Wani aikinsa na farko shi ne ina sahuwa bayi na raw na Bayer daga sensor kuma, ta hanyar tsari na aiki na fuskantar, ya sahuwa shi zuwa format na hoton na gaba daya wanda muna ganin, domin display ko domin analisis. ISP zai iya zama chip mai gaba daya ko ana koyaushe shi a cikin chip na kontrol na gaba daya.

Wani ISP mai ƙarfi shi ne mafi mahimmanci don wani camera module mai ƙarfi. Kullum yadda ya yi ake amfani da shi shi ne mafi mahimmanci kuma ya zama ƙararin yadda ta faruwa na farko.

ISP Processing Pipeline

Wani ISP pipeline mai ƙarfi yana iya haɗawa da dukkan yadda da suka biyu. Mu za mu bayyana wani irin yadda da suka biyu a cikin wannan:

1. Rubutun Bayanin Wani Pixel Mai Sauri

A lokacin sanyin, sensors suna iya haɗawa da wani pixel mai sauri, wanda ke ba da alama ko kuma ke ba da alama a kowace lokaci. Farko a cikin ISP shine gano da rubuta wadannan pixels mai sauri, kuma rubuta bayanan su ta hanyar tattauna daga wadannan pixels na gaba.

2. Rubutun Bayanin Black Level

Kamar yadda ake gaskiya, a lokacin da aka ci gaba da tsaro, sensor ya ba da signal electric mai zafi saboda "dark current." ISP ya cire wannan "black level" mai tsoro don ganin cewa black pixels suna zero, kuma yana taimaka wani image don yin dynamic range.

3. Denoising

Idan sensor ya kashe a wani lokaci da yawa na ƙaramin iluminasi, ya samu kwayoyin elektronikai da ba su da ma'ana. ISP ya amfani da algorizamai masu fahimta don fahimci farko na bayani na taswira daga kwayoyin da suka zama ba da ma'ana kuma ya amfani da kewayon gudunmawa. Wannan zai iya taimaka wajen sauyi taswirar da ke da kyau, amma idan kewayon gudunmawa ya yi a yawa zai iya cire farko na bayani.

4. Demosaicing

Wannan shine babban ayyukan ISP. Algorizamin demosaicing ya kara bayanin pixel na gaba da red, green, da blue don fahimci kuma RGB na pixel na gaba. Kyautattun algorizamin demosaicing zai iya shawara amsar rukuni na rangi da farko na bayani na taswirar da aka samu.

5. Auto White Balance

Farko na ƙarama (kamar yadda suna, ƙarama na fluorescent, da ƙarama na incandescent) suka bayar ƙarama ta hanyar farko na ƙarama. Aiki na auto white balance ya gano farko na ƙarama a cikin taswira kuma ya saita tsakanin ƙarama na red, green, da blue channels don tabbatar da cewa abubuwa masu ƙarama suka zama masu ƙarama a yadda za suka zama a wani baya na ƙarama. Wannan aiki na dynamic da mafi kyau shine ne daga cikin abubuwan da ke taka kariya na ISP.

6. Tsarin Farko (CCM)

Kafin da ake saita farko, tsarin farko na kamera ba zai iya zama taka kariya ba. ISP ya amfani da matrix na farko don saita farko kuma ya saita farko na sensor na kamera daga farko na asali zuwa farko na standard (kamar sRGB) don tabbatar da tsarin farko a cikin abubuwan da suka fara da farko.

7. Tsarin Gamma

Tsarin gamma shine ne aiki mai farko a farko na taswira don tabbatar da farko na mata na mutum, kuma ya sa da farko na farko da farko na farko suka zama mafi kyau da mafi kyau a farko na farko.

8. Tsarin Sharpening da Tsarin Edge Enhancement

ISP ya zama mai ƙara kadan na alamar da farko a cikin taswira, kuma yana sa su dace da kadan da kadan. Amma wannan yana bukatar tattalin arziki, saboda kadan da kadan yana iya haɗawa da alamar da kadan da kadan da ba a gane ba.

Tasirin ISP a kan Computer Vision

Ga masu ingantattun da ke cikin jihadi, ISP ba ne kuma abin da ke ƙara taswira da kyau. Kullum yadda ake amfani da ISP yana iya taimaka wajen tsarawa na alamar da kadan da kadan na computer vision. Wani mutum da ya yi amfani da ISP ba ta hanyar daidai ba, kuma yana iya haɗawa da alamar da kadan da kadan a cikin alamar da kadan da kadan kamar da kadan da kadan na alamar da kadan da kadan.

"Black Box" na ISP

Munafasun da ke cikin jihadi suna iya fahimta da ISP kamar "black box," kuma suna iya fahimta da shi kamar abin da ke ƙara taswira da kyau. Amma, yadda ake amfani da ISP yana iya ƙara kyau na taswira, kuma yana iya haɗawa da alamar da kadan da kadan na computer vision.

Misali, kadan da kadan na ISP na kadan da kadan yana iya kara kadan da kadan na alamar da kadan da kadan da kadan da kadan da taswira, wanda suka kasance mafi mahimmanci ga alamar da kadan da kadan na alamar da kadan da kadan.

Alamar da kadan da kadan na Auto White Balance

Koƙari na karamin fuskantar daidai a cikin ƙarshen al'adu na kompyuta yana da kyau mai zuwa. A cikin ƙarshen al'adu na sauyi, idan karamin fuskantar daidai ba za a iya sauyin tsarin raguwar launin daidai, zai iya haɗawa da sauyin launi a cikin taswira. Wannan zai iya gudumawar al'adu na karamin fuskantar daidai na ayyukan duniya, saboda suna iya ba su iya gudumawa da abubuwa da suka sauyi launin.

Yaya za a gudumawa wannan

Don gudumawa da karamin fuskantar daidai na al'adu na kompyuta, masu ingantaccen su ya kamata su amfani da ISP da ke taimaka wajen al'adu na karamin fuskantar daidai. Wannan yana nufin cewa paramita na ISP su ya kamata su iya amfani da su ko su iya sauyin, don haka masu ingantaccen zasu iya sauyin karamin fuskantar daidai na taswira don ayyukan da suka bayyana (kamar launin gaba daya ko launin gaba daya a rana ko launin gaba daya a gabashe). Don haka, yana da muhimmi in zaɓa modul na kamera ta hanyar da suka bayyana bayyanan raw Bayer. Wannan zai iya taimakawa wajen karamin fuskantar daidai a software na gaba daya, don taimakawa da karamin fuskantar daidai da karamin fuskantar daidai.

Bayan fikir

Alama na Bayer da processor na isyayin taswira suna ƙarfi na tsari na taswirin digital, kuma suna aiki da yawa don zuba isyayin rawan cikin bayani na taswira. Fasahar kowace yanki na aiki na ISP da fahimtar karfinsa wajen algoridamai na tsohon komputa suna da mahimmanci ga kowa daga cikin masu aiki na taswirin embedded. ISP ba ta taba kuma ga fasahin taswirai, amma ta kuma shiga wajen samun gaskiya na algoridamai na AI kamar nuna abu da nuna taswira.

Muchvision Taimaka da Amsa na ISP

Yana da matsala da amsa na ISP na module na kamera ga project din ku? Bari mu rubuta maki na masu ilmi a yau kuma za mu ba ku da amsa mai kyau na selection da customization na processor na isyayin taswira don taimakawa ga project din ku na taswirin embedded!