×
Napi életünk során hozzászoktunk a vibráló, részletgazdag képekhez. Azonban egy rejtett titok van: a kamerák érzékelői természetüknél fogva színtelenek. Minden képpont csak a fényerősséget tudja érzékelni, nem pedig a színt. Ennek a fekete-fehér adatnak a színes képpé alakítása bonyolult rendszert igényel. Ennek a rendszernek a központjában a Bayer-minta (Bayer-szűrő) és a képfeldolgozó egység (ISP) áll. Ezek a két elem úgy működik, mint a kamera agya és szeme, együtt alakítják a nyers fényjelek átalakításának folyamatát a végleges képpé.
Kameramodulok szakértőjeként írt cikkünk részletes elemzést nyújt a Bayer-mintáról, feltárja az ISP-feldolgozási folyamatot, és megvizsgálja, hogyan befolyásolják ezek a kulcsfontosságú technológiák közvetlenül olyan alkalmazásokat, mint például az objektumfelismerés a beágyazott látási rendszerekben. Mérnöki szemszögből szakértői betekintést nyújtunk, segítve megérteni minden kulcsfontosságú láncszemet a képláncban.
A Bayer-minta megértéséhez először ismerni kell a digitális fényképezőgépek működését. Egy kamerák érzékelője millió fényérzékeny diódból (pixelekből) áll. Amikor fotonok érik ezeket a pixeleket, elektromos töltést hoznak létre, amelynek nagysága arányos a fény intenzitásával. Ezek a pixelek azonban nem képesek megkülönböztetni a fény színét; csupán a fényességét rögzítik.
A Bayer-minta, amelyet gyakran Bayer-szűrőként is emlegetnek, egy újító megoldás. Ez egy apró szűrőtömbből áll – vörös (R), zöld (G) és kék (B) –, amelyet pontosan elhelyeznek minden pixel fölé. Ez a szűrőtömb lehetővé teszi, hogy minden pixel csak az alatta lévő fény adott színének intenzitását fogadja és rögzítse. Például egy vörös szűrővel lefedett pixel csak a vörös fény fényességét rögzíti.
Így az érzékelő által kimenetelként szolgáltatott nyers adat nem egy színes RGB-kép, hanem egy monokróm mozaikmintázat, amelyet „Bayer-nyers adatnak” neveznek. Minden pixel ebben az adatban csak egy színkánales információt tartalmaz.
Ha közelebbről megnézzük egy tipikus Bayer-mintát, észre fogjuk venni, hogy a zöld pixelek száma kétszerese a piros és kék pixelek számának. Ezt RGGB (vagy GRBG, BGGR stb.) elrendezésnek nevezik.
Ez a tervezés nem véletlen; az emberi szem fiziológiai tulajdonságain alapul. Az emberi retina legérzékenyebb a zöld fényre, ezért a fényerősség (vagy „szürkeárnyalatos”) érzékelésünk főként a zöld csatornából származik. A zöld pixelek számának növelésével a kamera gazdagabb fényerősség-információt tud rögzíteni, ami magasabb élességet és kevesebb zajt eredményez a kép újraalkotásakor, végül természetesebb és élesebb képet biztosít.
Különféle Bayer-minta-elrendezések léteznek, amelyek közül az RGGB és a BGGR a két leggyakoribb. Bár mindkettő követi a „kétszeres zöld” elvet, a konkrét elrendezés eltérő.
Az RGGB elrendezésben a piros és kék pixelek átellenes helyzetben vannak a zöld pixelekkel szemben. A BGGR elrendezésben a zöld pixelek átellenes helyzetben vannak a piros és kék pixelekkel szemben. Ezeknek az elrendezéseknek a kiválasztása befolyásolja a következő ISP-feldolgozást, különösen a demosaicing algoritmust.
Például különböző elrendezések hatással vannak a szomszédos pixelek kombinációjára az interpolációs számítások során. Beágyazott látási rendszerek esetén a Bayer-minta kiválasztása gyakran az ISP-chip tervezésétől függ, és hardveres és szoftveres koordinációt igényel a végső képminőség biztosításához.
A képjelfeldolgozó (ISP) a kamerarendszer agya. Fő feladata, hogy a szenzortól érkező feldolgozatlan Bayer nyers adatokat fogadja, majd egy összetett feldolgozási folyamaton keresztül átalakítsa őket olyan szabványos képformátummá, amit mi láthatunk, és amely készen áll a megjelenítésre vagy elemzésre. Az ISP lehet önálló chip, illetve beépíthető a fő vezérlőchipbe.
Egy hatékony ISP kulcsfontosságú egy nagy teljesítményű kameramodul esetében. Minden lépés, amelyet kezel, döntő jelentőségű, és közvetlenül meghatározza a végső képminőséget.
Egy teljes ISP-folyamat általában tucatnyi feldolgozási lépésből áll. Itt kiemelünk néhány kulcsfontosságú lépést:
A gyártási folyamat során a szenzorokon egyes hibás pixelek jöhetnek létre, amelyek vagy nem bocsátanak ki fényt, vagy állandóan világítanak. Az ISP első lépése a hibás pixelek azonosítása és javítása, azaz az adatuk helyettesítése a környező pixelekből történő interpolációval.
Teljes sötétségben is a szenzor gyenge elektromos jelet termel a „sötét áram” miatt. Az ISP levonja ezt a rögzített „fekete szintet”, hogy biztosítsa: a fekete pixelek valóban nullát mutatnak, ezzel javítva a kép dinamikatartományát.
Amikor a szenzor alacsony fényviszonyok között működik, nagy mennyiségű véletlenszerű elektronikus zajt generál. A képfeldolgozó egység (ISP) összetett algoritmusokat használ a kép részleteinek és a zajnak a megkülönböztetésére, majd zajcsökkentést alkalmaz. Ez jelentősen javíthatja a kép tisztaságát, de túlzott zajcsökkentés esetén a részletek is elveszhetnek.
Ez az ISP egyik alapvető funkciója. A színszűrő-mátrix dekódolási (demosaicing) algoritmus interpolálja minden pixel szomszédos piros, zöld és kék pixeleinek információját, hogy megbecsülje az adott pixel teljes RGB-értékét. A színszűrő-mátrix dekódolási algoritmus minősége közvetlenül meghatározza a végső kép színvisszaadását és részletgazdagságát.
Különböző fényforrások (például napfény, fénycső- és izzóvilágítás) különböző színhőmérsékletű fényt bocsátanak ki. Az automatikus fehér egyensúly funkció elemezi a kép színeloszlását, és automatikusan beállítja a vörös, zöld és kék csatornák erősítését, hogy biztosítsa a fehér tárgyak pontos fehér megjelenítését bármilyen világítási körülmény mellett. Ez a dinamikus és összetett folyamat az ISP egyik legfontosabb értékesítési szempontja.
A fehér egyensúly beállítása után is előfordulhat, hogy a kamera színvisszaadása nem teljesen pontos. Az ISP színkorrekciós mátrixot használ a színök további finomhangolására, amely leképezi a kamerák érzékelőjének natív színterét egy szabványos színrendszerre (például sRGB), így biztosítva a színegyezést különböző eszközök között.
A gamma-korrekció egy nemlineáris folyamat a kép fényerősségének igazítására, amely illeszkedik a szem emberi látásának nemlineáris érzékenységéhez, így a világos és sötét területek természetesebbnek és mélyebb hatásúnak tűnnek.
Az ISP élesíti a képek széleit, így azok élesebbek és élesebbek tűnnek. Ez azonban pontos vezérlést igényel, mivel túlérzékeny élesítés természetellenes, fogszerű torzításokat eredményezhet.
A beágyazott látási rendszerek mérnökei számára az ISP több mint egy eszköz a képek esztétikai javítására. Az ISP minden feldolgozási lépése közvetlenül befolyásolja a következő fázisban futó gépi látási algoritmusok teljesítményét. Az ISP szerepének figyelmen kívül hagyása végzetes hibákhoz vezethet például az objektumfelismerési alkalmazásokban.
Sok mérnök tévesen úgy tekint az ISP-re, mint egy „fekete dobozra”, feltételezve, hogy kizárólag egy „jól kinéző” kép előállításáért felelős. Ugyan néhány ISP-feldolgozási lépés javíthatja a vizuális minőséget, ugyanakkor zavarhatja a gépi látási algoritmusokat.
Például túlzottan erőteljes ISP zajcsökkentés simíthatja a kép finom textúráit és részleteit, amelyek döntő fontosságúak az objektumfelismerési algoritmusok számára.
Az instabil automatikus fehérkiegyensúlyozás egy jelentős probléma a számítógépes látás területén. Változó megvilágítási körülmények között, ha az automatikus fehérkiegyensúlyozás nem képes pontosan korrigálni a színhőmérsékletet, az képszínezést eredményezhet. Ez megakadályozhatja a betanított objektumfelismerő modellek működését a valós világban, mivel ezek esetleg nem tudnak felismerni a színezéssel ellátott objektumokat.
A számítógépes látás algoritmusainak megbízhatósága érdekében az mérnököknek egy, a látási alkalmazásokhoz optimalizált képfeldolgozó egységre (ISP) van szükségük. Ez azt jelenti, hogy az ISP paraméterei vezérelhetők és beállíthatók legyenek, így az mérnökök finomhangolhatják a képfeldolgozási folyamatot az adott alkalmazási forgatókönyvhöz (például erős napsütéses külső környezet vagy éjszakai alacsony fényviszonyok). Emellett elengedhetetlen egy olyan kameramodul kiválasztása, amely nyers Bayer-adatokat ad ki. Ez lehetővé teszi az mérnökök számára, hogy a képfeldolgozást szoftveres háttérrendszerben végezzék el, így maximális rugalmasságot és irányítási lehetőséget biztosítva.
A Bayer-minta és a képfeldolgozó processzor (ISP) a digitális képfeldolgozás láncának alapkövei, amelyek együttműködve alakítják át a nyers fényjeleket hasznos képinformációvá. Minden beágyazott képfeldolgozó mérnöknek elengedhetetlen, hogy megértse az ISP minden feldolgozási lépését, és felismerje közvetlen hatását a későbbi számítógépes látás algoritmusokra. Az ISP nemcsak a képek esztétikai minőségéhez járul hozzá, hanem meghatározza az AI-alapú alkalmazások – például az objektumfelismerés és a képfelismerés – sikerességét is.
Nehezen boldogul a kameramodul ISP-optimalizálásával projektje során? Lépjen kapcsolatba szakértő csapatunkkal még ma, és szakmai képfeldolgozó processzor-kiválasztási és testreszabási szolgáltatásokat nyújtunk, hogy sikeres legyen beágyazott képfeldolgozós projektje!
Aktuális hírek
EN
