Jak utrzymać dokładność barw w obrazie z kamery w warunkach mieszanej iluminacji

Od kamer bezpieczeństwa i urządzeń inteligentnego domu po systemy obrazowania motocyklowe, inspekcję przemysłową, endoskopię medyczną oraz wizję robotów – wszystkie systemy kamer mają pozornie prosty wymóg: kolory, które rejestrują, powinny odpowiadać tym, które widzi człowiek.

Codzienne oświetlenie utrudnia spełnienie tego wymogu. W biurze światło dzienne wpadające przez okno miesza się ze światłem lamp fluorescencyjnych. W centrum handlowym chłodne oświetlenie sufitowe nakłada się na ciepłe oświetlenie wystaw. W garażu podziemnym białe diody LED i żółte lampy sodowe oświetlają ten sam obszar. Takie typowe środowiska należą do najtrudniejszych do dokładnej reprodukcji przez kamery. Mieszane oświetlenie jest powszechne w rzeczywistych zastosowaniach, podczas gdy pojedyncze, jednorodne źródło światła występuje stosunkowo rzadko.

W tym artykule wyjaśniono, dlaczego kamery generują barwny odcień przy mieszanych źródłach światła, jak inżynierowie dostosowują i testują urządzenia w takich warunkach oraz jak zapewniają spójność barwną w produkcji masowej. W aplikacjach, w których kolor służy do podejmowania decyzji, dokładna reprodukcja jest wymaganiem funkcjonalnym.

Dlaczego mieszane oświetlenie powoduje błędy barw

Postrzegana barwa zależy od oddziaływania między źródłem światła, sposobem odbijania światła przez obiekt oraz obserwatorem – czyli osobą lub aparatem fotograficznym.

Gdy światło uderza w obiekt, jego powierzchnia odbija niektóre długości fal silniej niż inne. Odbite światło przechodzi przez obiektyw aparatu, a macierz filtrów kolorowych (CFA) na czujniku obrazu próbkuję je w kanałach czerwonym, zielonym i niebieskim. Następnie procesor sygnału obrazu (ISP) stosuje operacje takie jak demozaikowanie, bilans bieli, korekcja barw oraz kodowanie gamma, aby wytworzyć obraz wyświetlany na ekranie.

Te etapy przetwarzania opierają się na założeniach dotyczących oświetlenia. Mieszane oświetlenie zakłóca te założenia na trzy sposoby.

1. Różne temperatury barwowe. Wzrok ludzki dostosowuje się do oświetlenia i ma tendencję do postrzegania białych obiektów jako białych w różnych warunkach oświetleniowych. Aparat szacuje punkt biały za pomocą algorytmu. Gdy ciepłe diody LED o temperaturze barwowej 2700 K i chłodne światło dzienne o temperaturze barwowej 6500 K oświetlają różne części tej samej sceny, jedno globalne ustawienie bilansu bieli może zneutralizować jedną z tych obszarów, pozostawiając przy tym barwny odcień w drugim.

2. Różne rozkłady mocy widmowej. Żarówki żarowe generują ciągły widmowy rozkład mocy. Lampy fluorescencyjne oraz diody LED mogą mieć w widmie widzialnym wąskie szczyty i przerwy. Dwa źródła światła mogą mieć tę samą temperaturę barwową skorelowaną, ale oświetlać dany obiekt różnymi kombinacjami długości fal. W miarę jak mieszanka światła zmienia się w obrębie sceny, zmienia się również widmo odbijane przez ten obiekt.

3. Migotanie oraz zmienność klatka po klatce. Oświetlenie zasilane z sieci może migotać, a niezgodność między czasem ekspozycji a modulacją światła może powodować widoczne paski.

Wynikiem mogą być odcienie zieleni lub czerwieni na skórze, zabarwione na biało ściany, niedokładne kolory produktów lub widoczne różnice barw w papierze i tkaninach. Błędy te mają znaczenie w ocenie medycznej, sortowaniu przemysłowym, kontroli jakości lub fotografowaniu wystaw.

Potok kolorów aparatu

Cztery części potoku aparatu kształtują sposób, w jaki odtwarza on kolory w warunkach mieszanej iluminacji.

1. Automatyczna balans białego (AWB). AWB szacuje źródło oświetlenia sceny i dostosowuje wzmocnienia kanałów czerwonego i niebieskiego, aby uzyskać neutralne powierzchnie bez barwnego odcienia. Pojedynczy zestaw wzmocnień ma ograniczoną zdolność korekcji obszarów oświetlanych różnymi źródłami.

2. Macierz korekcji kolorów (CCM). Po skorygowaniu bilansu bieli aparat cyfrowy nadal musi skorygować sposób renderowania poszczególnych kolorów. Odpowiedź widmowa czujnika typu Bayer różni się od odpowiedzi widmowej ludzkiego wzroku. Macierz 3 × 3 przekształca odpowiedź czujnika w zakresie RGB w kierunku docelowego modelu barw.

3. Gamma i mapowanie tonalne. Kodowanie gamma przekształca liniowe dane obrazu w nieliniowy sygnał. Razem z mapowaniem tonalnym wpływa na renderowanie pośrednich odcieni oraz na wygląd nasycanych kolorów.

4. Modele barw i tablice przeszukiwania. Aparat przekształca kolory do przestrzeni wyjściowej, np. sRGB lub Display P3. Tam, gdzie wymagana jest bardziej precyzyjna nieliniowa korekcja, trójwymiarowa tablica przeszukiwania (3D LUT) umożliwia dostosowanie kolorów poza zakresem możliwym do osiągnięcia za pomocą macierzy.

Potok zoptymalizowany przy użyciu jednego zestawu parametrów globalnych stosuje tę samą korekcję w całym kadrze. Jeśli okno oświetla jedną stronę pomieszczenia, a ciepłe diody LED – drugą, to oba obszary mogą wymagać różnych korekcji.

Inżynieria zapewniająca dokładny kolor w warunkach mieszanej oświetleniowości

Wybór sprzętu dostosowanego do warunków oświetleniowych

Czujnik obrazu i macierz filtrów kolorów (CFA). Oceń widmową odpowiedź RGB czujnika w warunkach reprezentatywnego oświetlenia podczas selekcji komponentów. Sprawdź, czy konkretne źródła powodują nasycenie jednego kanału lub zbyt słaby sygnał w innym kanale, uniemożliwiający wiarygodną korekcję.

Filtry optyczne i eliminacja promieniowania podczerwonego. Światło podczerwone poza zakresem widzialnym może wpływać na sygnał RGB i zmieniać kolory rejestrowane przez aparat. Poprawnie dobrany filtr blokujący promieniowanie podczerwone może pomóc zmniejszyć niepożądane odcienie czerwone, szczególnie w scenach zawierających znaczny udział promieniowania podczerwonego.

Kontrola migotania i szeroki zakres dynamiki. Dostosuj czas ekspozycji do modulacji źródeł światła, o ile to możliwe. Oceń ustawienia HDR lub szerokiego zakresu dynamiki (WDR) dla scen zawierających zarówno jasne, jak i ciemne obszary. Skuteczne zarządzanie efektem pasmowania oraz zmiennością ekspozycji zapewnia potokowi kolorów bardziej stabilny obraz do przetwarzania.

Dostosuj korekcję kolorów do danej sceny

Regionalna lub wieloźródłowa balans białego. Grupuj obszary o podobnych cechach oświetlenia, oszacuj źródło światła w każdej strefie i zastosuj lokalne wzmocnienia. Wygładź przejścia między obszarami, aby korekcja nie tworzyła widocznych granic.

Interpoluj między macierzami korekcji kolorów. Skalibruj macierze korekcji kolorów (CCM) przy kilku odniesieniowych temperaturach barwowych. Gdy oszacowana temperatura barwowa mieści się pomiędzy dwoma punktami kalibracji, przeprowadź interpolację między odpowiadającymi im macierzami, aby uniknąć nagłych zmian w renderowaniu kolorów.

Dokonaj doprecyzowania wyniku za pomocą trójwymiarowej tablicy przeszukiwań (3D LUT). Zastosuj trójwymiarową tablicę przeszukiwań (3D LUT), aby skorygować pozostałe nieliniowe błędy kolorów po wstępnej korekcji. Może to być pomocne w zastosowaniach wymagających szczególnie precyzyjnej kontroli odcieni skóry lub kolorów produktów.

Ulepsz oszacowanie źródła światła. Statystyki szarości oraz nauczone modele oszacowania źródła światła mogą pomóc w oszacowaniu względnego wkładu różnych źródeł światła i zapewnić lepsze dane wejściowe dla algorytmu korekcji.

Skalibruj i przetestuj pod kątem spójności produkcji

Odtwarzanie mieszanej iluminacji w laboratorium. Użyj kabiny świetlnej lub kontrolowanej strefy testowej z niezależnie regulowanymi źródłami światła. Odtwórz kombinacje takie jak światło dzienne i fluorescencyjne lub chłodne i ciepłe diody LED. Jako odniesienie użyj standardowych źródeł światła, np. D65 i D50.

Pomiary koloru i sprawdzanie odcieni neutralnych. Zrób zdjęcia standardowego 24-punktowego celu kolorystycznego, np. X-Rite ColorChecker, oraz celu szarościowego przy każdej kombinacji oświetlenia. Oblicz różnice kolorów za pomocą metryki takiej jak CIEDE2000 (ΔE₀₀). Dopracuj macierze korekcji kolorów (CCM) i tablice przeszukiwania (LUT), aż pomiary znajdą się w granicach akceptowalnych dla projektu.

Sprawdzanie spójności między partiami produkcyjnymi. Wprowadź zatwierdzone parametry kalibracji do procesu produkcyjnego. Użyj automatycznego pobierania próbek do sprawdzania różnic kolorów, odchylenia bilansu bieli oraz spójności odpowiedzi między partiami. Te kontrole pomagają ustalić, czy moduły produkcyjne odtwarzają wydajność zatwierdzonego wzorca.

Jak zespół ds. rozwoju zintegrowanych kamer wspiera projekt

Dokładność barw w warunkach mieszanej iluminacji zależy od decyzji podejmowanych na etapach wyboru czujnika, projektowania modułu, opracowywania sterowników, strojenia procesora obrazu (ISP), integracji systemowej oraz kalibracji produkcyjnej. Problem z barwami widoczny na końcowym obrazie może mieć źródło w dowolnym miejscu tego łańcucha.

Projektujemy i wytwarzamy moduły kamer oraz płyty główne. W zależności od zastosowania możemy ocenić dostępne opcje czujników, dobrać soczewki i filtry optyczne oraz zaprojektować moduł zgodnie z mechanicznymi wymaganiami urządzenia.

Nasza praca nad sterownikami obejmuje portowanie sterowników czujników, debugowanie na poziomie rejestrów oraz testy stabilności w zakresie wymagań projektowych dotyczących oświetlenia, temperatury i częstotliwości klatek. Dostosowujemy również procesor obrazu (ISP) do zamierzonego zastosowania, w tym automatyczną balans białego, macierze korekcji barw, trójwymiarowe tablice przeszukiwania (3D LUT), redukcję szumów oraz obsługę HDR lub WDR. Kryteria akceptacji obrazu określone przez klienta stanowią podstawę tej pracy.

Ten sam zespół może realizować projekt od określenia wymagań i doboru komponentów przez prototypowanie, dopasowywanie obrazu, produkcję oraz kontrole spójności. Jeśli masz określone wymagania dotyczące środowiska oświetleniowego lub problem z kolorem w istniejącym systemie, prześlij nam swoje wymagania lub przykładowe obrazy na adres [email protected].