×
Í daglegu lífi okkar erum við venjulega að sjá lifandi, skýr myndir. Það er þó leynilegt leyndarmál: myndtekjusensörar eru af sér naturellt litlausar. Hver píktil getur aðeins greint birtu, ekki lit. Til að umbreyta þessari svart-hvítu gögnunni í litmynd þarf flókið kerfi. Í hjarta þessa kerfis liggja Bayer-mynstur (Bayer-síld) og myndvinnsluhringur (ISP). Þessir tveir þættir virka eins og augun og heili myndavélanna og vinna saman til að forma ferlið frá óunninum ljóssínunum til endanlegu myndinni.
Sem ráðgjafi sem sérhæfir sig í myndavélarhlutum mun þessi grein veita náið greiningu á Bayer-mynstri, ljúka upp á vinnsluferli ISP og rannsaka hvernig þessar kjarnateknólogíur hafa beina áhrif á forrit eins og hlutgreiningu í innbyggðum sjónkerfum. Við munum veita sérfræðiþekkingu úr verkfræðiperspektífi, sem hjálpar þér að skilja hvert lykilband í myndkeðjunni.
Til að skilja Bayer-mynstur þarf fyrst að skilja hvernig rafrænir myndavafar virka. Myndavafarinn samanstendur af milljónum ljóssensitíva díóða (píkla). Þegar ljósþættir hitta þessa píkla mynda þeir rafeindahleðslu sem stærðin er í hlutfalli við ljóssterkina. Þessir píklar geta þó ekki greint á milli litanna í ljósinu; þeir skráa aðeins birtusterkju þess.
Bayer-myndin, oft kölluð Bayer-síur, er nýjungarlausn. Hún samanstendur af litlum fylki af síum – rauðum (R), grænum (G) og bláum (B) – sem eru nákvæmlega sett yfir hvern píkla. Þetta síufylki gerir því kleift hverjum píkla að taka á móti og skráa aðeins sterku ákveðins litljós undir sér. Til dæmis skrár píkla sem er yfirdektur af rauðri síu aðeins birtusterkju rauðs ljós.
Þannig er bráðgögnin sem myndavafarinn gefur út ekki litmynd í RGB-samsetningu, heldur monókróm mynstur, sem kallast „Bayer-bráðgögn“. Hver píkla í þessum gögnunum inniheldur upplýsingar aðeins frá einum litrás.
Ef þú skoðar nákvæmlega venjulegt Bayer-mynstur munið þér athuga að það eru tvisvar fleiri græn pixlar en rauðir og bláir pixlar. Þetta er þekkt sem RGGB (eða GRBG, BGGR o.s.frv.) skipun.
Þessi hönnun er ekki tilviljun; hún byggir á líkamlegum eiginleikum mannsins. Netnhaut mannsins er mest viðkvæmt fyrir grænri ljósi, sem veldur því að uppfatning okkar á birtu (eða „gráskala“) kemur aðallega frá grænu rásinni. Með því að úthluta fleiri pixlum fyrir grænt litfjölbreytileika getur myndavélina teknar inn ríkari upplýsingar um birtu, sem leidir til hærri skýrleika og minna hljóðs við endurbyggingu myndarinnar, og gerir loks myndina náttúrulegri og skerri.
Það eru ýmislegt Bayer-mynsturskipan, en RGGB og BGGR eru tvær algengustu. Á meðan báðar fylgja „tvöföldu grænu“-reglunni er sérstök skipunin önnur.
Í RGGB skipuninni eru rauðir og bláir myndhátar staðsettur á ská yfir frá grænum myndhátum. Í BGGR skipuninni eru grænir myndhátar staðsettur á ská yfir frá rauðum og bláum myndhátum. Val á þessum skipunum áhrifar síðari ISP-vinnslu, sérstaklega demosaicing reikniritið.
Til dæmis hafa mismunandi skipanir áhrif á samsetningu nærliggjandi myndháta í milligildireikningum. Fyrir innbyggða sjónkerfi byggir val á Bayer-mynstur oft á hönnun ISP-chipsins og krefst samstillingar á milli vélbúnaðar og hugbúnaðar til að tryggja endanlega myndgæði.
Myndmerkisvinnsluþátturinn (ISP) er heili myndavélar kerfisins. Aðalverkefni hans er að taka við óbeinu Bayer hrágegnihófi frá skynjaranum og umbreyta honum, í gegnum flókinn vinnuskrá, í staðlaðan myndformi sem við sjáum, tilbúin fyrir sýningu eða greiningu. ISP getur verið sjálfstæður chip eða innbyggður í aðalstýrichip.
Áhrifamikil ISP er lykillinn að hávirkum myndavélarhólfum. Hver skref sem hún meðhöndlar er ákveðandi og ákvarðar beint lokamyndgæði.
Fullständig ISP leið inniheldur venjulega tugi meðferðarskrefa. Við munum birta nokkur lykilskref hér:
Í framleiðsluferlinu geta myndtekjusensörar þróast einstakir rangir pixlar, sem eru annað hvort óljósir eða varanlega ljósir. Fyrsta skrefið í ISP er að greina þá upp og lagfæra þá með því að skipta gögnunum út með milligildum frá kringumliggjandi pixlum.
Jafnvel í algjörri myrkri framleiðir myndtekjusensórinn veikan rafmagnssignal vegna "myrkrar rásar". ISP dregur þetta fasta "svartstig" frá til að tryggja að svartir pixlar séu í raun núll, sem bætir myndarinnar breidd á myndskálun.
Þegar skynjarinn er í lágu ljósi framleiðir hann mikla magn af handahófskenndri raunhæfri rúgð. Myndvinnslueiningin (ISP) notar flókna reiknirit til að greina myndgreinarmál frá rúgð og beitir síðan rúgðminnkun. Þetta getur bætt myndhreinleika verulega, en of mikil rúgðminnkun getur líka eytt greinarmáli.
Þetta er eitt af kjarnafunktsjónum myndvinnslueiningarinnar (ISP). Demosaicing-reikniritið ályktar heildar-RGB-gildið fyrir hvert pixl með því að brýta saman upplýsingar um rauða, græna og bláa pixl nágranna þess. Gæði demosaicing-reikniritsins ákvarða beint litendurspeglingu og greinarmál lokamyndarinnar.
Ólíkar ljóðkeldur (t.d. sólarljós, flæðiljós og glóðljós) gefa út ljós með ólíkum litshitastigum. Fallið sjálfvirkur hvítjafnvægi greinir litadreifingu myndarinnar og stillir sjálfvirkt ávöxtun rauðu, grænu og bláu rásanna til að tryggja að hvíta hlutir virðist nákvæmlega hvítir undir hvaða ljóskeldu sem er. Þessi dýnamíska og flókna ferli er ein af lykil eiginleikum myndvinnslueiningar (ISP).
Jafnvel eftir að hvítjafnvægi hefur verið gerð getur litagjöf vélbílsins ekki verið nákvæm. ISP notar litamátrix til að breyta litum frekar, þar sem upprunalega litasvæði myndgeislarans er varpað yfir í staðlað litasvæði (t.d. sRGB) til að tryggja samræmi litanna á milli mismunandi tækja.
Gamma-breyting er ólínuleg ferli fyrir myndarbjartleika til að passa við ólínulega sjónarskyn mannsins, sem gerir ljós og myrkri svæði að birtast náttúrulegri og meira djúpþætt.
ISP-gefinn endurtekur brúnar í myndum, sem gerir þær skýrari og skerpar. Þetta krefst hins vegar nákvæmrar stjórnunar, því ofskerpun getur valdið ónáttúrulegum, rönduðum galla.
Fyrir innbyggða sjónverkfræðinga er ISP meira en bara tól til að gera myndir fallegri. Hvert framvinduskref í ISP á bein áhrif á afkvæmi tölvusjónarreikniritanna sem koma á eftir. Að hunsa hlutverk ISP getur leitt til alvarlegra villa í forritum eins og hlutgreiningu.
Margir verkfræðingar skoða ISP villandi sem „svartan dós“, þar sem þeir gera ráð fyrir að hann sé eingöngu ábyrgur fyrir framleiðslu „fallegs“ myndar. Þó svo að sumar ISP-virkni geti bætt sjónlega gæði, geta þær líka truflað tölvusjónarreiknirit.
Til dæmis getur of áherslufull ISP-eyðing á hávaða jafnað út mjúka textúru og smáatriði í myndinni, sem eru mikilvæg fyrir hlutgreiningarreiknirit.
Óstöðugt sjálfvirkt hvítabalans er mikil vandamálsstaða í tölvusjón. Þegar ljóskringa breytist getur órétt stilling á litshitastigi vegna óvirkra sjálfvirkrar hvítabalanss valdið litfargaðri mynd. Þetta getur gert þróuðar hlutgreiningarmódel óvirka í raunverulegum notkunartilvikum, því að þau geta ekki greint hluti sem hafa litfargaða mynd.
Til að tryggja áreiðanleika tölvusjónarreikniritanna þurfa verkfræðingar ISP sem er háðað sjónvörpunartilvikum. Þetta þýðir að stillingar ISP verða að vera stjórnanlegar og breytanlegar, svo verkfræðingar geti nákvæmlega stillt myndvinnsluferlið fyrir ákveðin notkunartilvik (t.d. bjart útihljóð eða lágt ljós á nóttu). Auk þess er mikilvægt að velja myndavafra sem framleiðir óbeinna Bayer-gögn. Þetta gerir verkfræðingum kleift að framkvæma ISP-vinnslu í bakendaprógrammum, sem gefur hámarkaða flókhleika og stjórn.
Bayer-mynsturinn og myndmerkjaferlið (ISP) eru grundvöllur stafrænna myndvinnslu, sem vinna saman til að umbreyta óunninum ljóssignalum í ágætan myndupplýsinga. Að skilja hvert ferli í ISP-ferlinu og þekkja beináhrif þess á neðanverðar tölvusjónarreiknirit er nauðsynlegt fyrir hverjan innbyggðan sjónverkfræðing. ISP-ferlið bætir ekki aðeins við áhorfamyndirnar heldur ákvarðar líka heppn á gagnvirku forritum eins og hlutaskynjun og myndskynjun.
Ertu að leita að hjálp við að stíla ISP fyrir myndavélarmóduĺi fyrir verkefnið þitt? Hafðu samband við sérfræðilíkun okkar í dag og við veitum þér faglega þjónustu við val og sérsníðingu á myndmerkjaferli (ISP), til að hjálpa verkefninu þínu með innbyggða sjón á heppn!
EN
Heitar fréttir