Gündəlik həyatımızda biz parlaq, ətraflı şəkilləri görməyə alışığıq. Lakin burada gizli bir sirr var: kamera sensorları əslində rəng-kördür. Hər bir piksel yalnız işıq intensivliyini (parlaqlığı), rəngi deyil, müəyyən edə bilir. Bu qara-ağ şəkil məlumatlarını rəngli şəkildə çevirmək üçün mürəkkəb bir sistem tələb olunur. Bu sistemin əsasında Bayer nümunəsi (Bayer filtri) və şəkil siqnalı prosessoru (ISP) yer alır. Bu iki element kameranın beyni və gözləri kimi fəaliyyət göstərir və hamısı birgə işıq siqnallarının ilkin formasından son şəkilə qədər olan prosesi formalaşdırır.
Kamera modulları üzrə məsləhətçi kimi bu məqalədə Bayer nümunəsinin ətraflı təhlili veriləcək, ISP emal axını açıqlanacaq və bu əsas texnologiyaların obyektlərin aşkarlanması kimi gömülü görüş sistemlərindəki tətbiqlərə necə birbaşa təsir etdiyi araşdırılacaq. Mühəndis baxış bucağından ekspert müşahidələr təqdim ediləcək ki, siz hər bir əsas şəkil zəncirinin linkini başa düşəsiniz.
Bayer nümunəsini başa düşmək üçün əvvəlcə rəqəmsal kameraların necə işlədiyini başa düşməlisiniz. Kamera sensoru milyonlarla fotohəssas dioddan (piksellərdən) ibarətdir. Fotonlar bu piksellərə düşəndə onlarda işıq intensivliyinə mütənasib elektrik yükü yaranır. Lakin bu piksellər işıq rənglərini bir-birindən fərqləndirə bilmirlər; onlar yalnız işığın parlaqlığını qeyd edirlər.
Bayer nümunəsi, çox vaxt Bayer filtri adı ilə də tanınan, yeni bir həll yoludur. Bu, hər bir pikselin üstünə dəqiq yerləşdirilmiş kiçik bir filtr qrupundan – qırmızı (R), yaşıl (G) və mavi (B) – ibarətdir. Bu filtr qrupu hər bir pikselin yalnız öz altındakı müəyyən rəngli işığın intensivliyini qəbul etməsinə və qeyd etməsinə imkan verir. Məsələn, qırmızı filtr ilə örtülmüş bir piksel yalnız qırmızı işığın parlaqlığını qeyd edir.
Beləliklə, sensor tərəfindən çıxarılan ham raw məlumatlar rəngli RGB şəkli deyil, "Bayer Ham Məlumatları" adı verilən monoxrom mozaika nümunəsidir. Bu məlumatlardakı hər bir piksel yalnız bir rəng kanalından məlumat ehtiva edir.
Tipik bir Bayer nümunəsinə diqqətlə baxsanız, yaşıl piksellərin qırmızı və mavi piksellərdən iki dəfə çox olduğunu görərsiniz. Bu, RGGB (və ya GRBG, BGGR və s.) düzülüşü kimi tanınır.
Bu dizayn heç bir təsadüf deyil; o, insan gözünün fizioloji xüsusiyyətlərinə əsaslanır. İnsan retina gözləri yaşıl işığa ən həssasdır və bu da parlaqlıq (və ya "boz miqyas") hissimizin əsasən yaşıl kanaldan gəlməsinə səbəb olur. Yaşıl rəng üçün daha çox piksel ayrıldığından kamera daha zəngin parlaqlıq məlumatlarını əldə edə bilir ki, bu da şəklin bərpası zamanı daha yüksək aydınlıq və az səs-küylülik nəticəsi verir və nəticədə şəkil daha natural və daha kəskin görünür.
Müxtəlif Bayer nümunəsi düzülüşləri mövcuddur və bunlardan ən çox yayılmışları RGGB və BGGR-dir. Hər ikisi "ikiqat yaşıl" prinsipinə əsaslanır, lakin konkret düzülüş fərqlidir.
RGGB düzülüşündə qırmızı və mavi piksellər yaşıl piksellərdən diaqonal olaraq yerləşdirilir. BGGR düzülüşündə isə yaşıl piksellər qırmızı və mavi piksellərdən diaqonal olaraq yerləşdirilir. Bu düzülüşlərin seçimi sonrakı ISP emalını, xüsusilə dəmosayik alqoritmini təsir edir.
Məsələn, müxtəlif düzülüşlər interpolasiya hesablamaları zamanı qonşu piksellərin birləşməsini təsir edir. Daxil edilmiş vizual sistemlər üçün Bayer nümunəsinin seçimi tez-tez ISP çipinin dizaynına əsaslanır və son görüntü keyfiyyətini təmin etmək üçün аппарат və proqram təminatının koordinasiyasını tələb edir.
Təsvir siqnalları prosessoru (ISP) kamera sisteminin beynidir. Onun əsas vəzifəsi sensorlardan işlənməmiş Bayer ham verilənlərini qəbul etmək və mürəkkəb emal boru kəməri vasitəsilə onları ekran-da göstərmək və ya analiz etmək üçün hazır olan standart təsvir formatına çevirməkdir. ISP ayrı bir çip ola bilər və ya əsas idarəetmə çipinə inteqrasiya edilə bilər.
Effektiv bir ISP yüksək performanslı kamera modulunun əsasını təşkil edir. ISP-in hər bir addımı vacibdir və son görüntü keyfiyyətini birbaşa müəyyən edir.
Tam bir ISP boru kəməri adətən onlarla emal addımından ibarətdir. Burada biz bir neçə əsas addımı qeyd edəcəyik:
İstehsal prosesində sensorlar bəzən işıq verməyən və ya daimi işıq verən ayrı-ayrı səhv piksellər yaradır. ISP-in ilk addımı bu səhv pikselləri müəyyən etmək və onların məlumatlarını ətrafdakı piksellərdən interpolasiya edərək əvəz etməkdir.
Tam qaranlıqda belə sensor "qaranlıq cərəyanı" səbəbiylə zəif elektrik siqnalları yaradır. ISP bu sabit "qara səviyyəni" çıxarır ki, qara piksellər həqiqətən sıfır olsun; bu da görüntünün dinamik diapazonunu artırır.
Sensor az işıqlı şəraitdə olduqda, böyük miqdarda təsadüfi elektron gürültü yaradır. ISP, təsvir detallarını gürültüdən ayırd etmək üçün mürəkkəb alqoritmlərdən istifadə edir və sonra gürültünü azaldan prosedur tətbiq edir. Bu, təsvirin təmizliyini əhəmiyyətli dərəcədə yaxşılaşdıra bilər, lakin çoxlu gürültü azaldılması həmçinin detalları silə bilər.
Bu, ISP-nin əsas funksiyalarından biridir. Dəmosayçing alqoritmi hər pikselin qonşu qırmızı, yaşıl və mavi piksellərinin məlumatlarını interpolasiya edərək həmin pikselin tam RGB dəyərini müəyyən edir. Dəmosayçing alqoritminin keyfiyyəti son təsvirin rəng reproduksiyası və detallarını birbaşa müəyyənləşdirir.
Fərqli işıq mənbələri (məsələn, günəş işığı, floresent işıqlandırma və incandesent işıqlandırma) fərqli rəng temperaturlarına malik işıq yayır. Avtomatik ağ balans funksiyası şəkildəki rəng paylanmasını təhlil edir və ağ obyektlərin istənilən işıq mənbəyi altında dəqiq ağ olaraq təsvir edilməsini təmin etmək üçün qırmızı, yaşıl və mavi kanalların qazancını avtomatik olaraq tənzimləyir. Bu dinamik və mürəkkəb proses ISP-nin əsas satış xüsusiyyətlərindən biridir.
Ağ balanslaşdırma aparıldıqdan sonra belə kameranın rəng reproduksiyası dəqiq olmaya bilər. ISP standart rəng fəzasına (məsələn, sRGB) keçid etmək üçün rəng matrisindən istifadə edərək kameranın sensorunun özünəməxsus rəng fəzasını xəritələşdirir və müxtəlif cihazlar arasında rəng uyğunluğunu təmin edir.
Gamma düzəlişi insan gözünün qeyri-xətti vizual восприятиsına uyğunlaşdırmaq üçün şəkil parlaqlığının qeyri-xətti emalıdır; bu da parlaq və qaranlıq sahələrin daha natural və dərinlikdə zəngin görünməsini təmin edir.
ISP təsvirlərdə kənarları gücləndirir, beləliklə onlar daha aydın və iti görünür. Bununla belə, bu dəqiq nəzarət tələb edir, çünki çox itiləşdirmə qeyri-təbii, dişli artefaktlar yarada bilər.
Daxil edilmiş görüntü mühəndisləri üçün ISP yalnız təsvirlərin gözəlləşdirilməsi üçün bir vasitə deyil. ISP-də hər bir emal addımı birbaşa aşağı axın komputer görüntüsü alqoritmlərinin performansını təsir edir. ISP-nin rolu haqqında qeyri-diqqət nəticəsində obyekt aşkarlama kimi tətbiqlərdə ölümcül xətalar yarana bilər.
Bir çox mühəndis ISP-ni yanlış şəkildə "qara qutu" kimi qiymətləndirir və onun yalnız "gözəl görünən" bir təsvir yaratmaq üçün məsuliyyət daşıdığını düşünür. Bununla belə, bəzi ISP emalı vizual keyfiyyəti yaxşılaşdıra bilər, lakin o eyni zamanda komputer görüntüsü alqoritmlərinə mane ola bilər.
Məsələn, çox qəti ISP səs-küy azaldılması təsvirdə obyekt aşkarlama alqoritmləri üçün vacib olan zəif toxumaları və detalları silə bilər.
Qeyri-sabit avtomatik ağ balansı kompüter vision sahəsində ən böyük problem nöqtələrindən biridir. İşıqlandırma şəraiti dəyişdikcə avtomatik ağ balansı rəng temperaturunu dəqiq tənzimləyə bilməz, nəticədə şəkildə rəng çaları yaranar. Bu, təlim keçirmiş obyekt aşkarlama modellərinin real dünya tətbiqlərində iş qabiliyyətini itirməsinə səbəb ola bilər, çünki bu modellər rəng çaları olan obyektləri aşkar edə bilməyə bilər.
Kompüter vision alqoritmlərinin etibarlılığını təmin etmək üçün mühəndisler vision tətbiqləri üçün optimallaşdırılmış bir ISP-ə ehtiyac duyurlar. Bu, ISP parametrlərinin idarə oluna bilən və tənzimlənə bilən olması deməkdir ki, bu da mühəndislərə müəyyən tətbiq senariləri (məsələn, parlaq xarici işıq və ya gecə zamanı aşağı işıqlandırma şəraiti) üçün şəkil emal boru kəmərini dəqiq tənzimləməyə imkan verir. Bundan əlavə, Bayer formatında ham raw məlumat çıxışı verən bir kamera modulu seçmək çox vacibdir. Bu, mühəndislərə arxa planda proqram təminatı vasitəsilə ISP emalını yerinə yetirməyə imkan verir və maksimum esneklik və nəzarət təmin edir.
Bayer nümunəsi və görüntü siqnalı işləyicisi rəqəmsal görüntüləmə zəncirinin əsas tərkib hissələridir və hamısı birlikdə hamıya çatdırıla bilən görüntü məlumatına çevrilən hamilə işıq siqnallarını emal edir. Görüntü siqnalı işləyicisinin (ISP) hər bir emal addımını başa düşmək və onun aşağı axın kompüter görmə alqoritmləri üzərində birbaşa təsirini tanımak hər bir daxil edilmiş görmə mühəndisi üçün vacibdir. ISP yalnız şəkillərin estetik keyfiyyətinə töhfə vermir, həmçinin obyektlərin aşkar edilməsi və şəkillərin tanınması kimi süni intellekt tətbiqlərinin uğuruna qərarverici təsir göstərir.
Layihəniz üçün kamera modulunun ISP optimallaşdırılması ilə bağlı çətinlik çəkirsiniz? Bu gün ekspert komandamıza müraciət edin və daxil edilmiş görmə layihənizin uğuruna nail olmağınız üçün peşəkar görüntü siqnalı işləyicisi seçimi və fərdiləşdirilmə xidmətləri təqdim edəcəyik!
EN
Son xəbərlər