Technologie wyświetlania, a rozmycia ruchu, drgania i inne artefakty.

Wstęp
Nasza codzienność w dużej mierze bazuje na doświadczeniach wizualnych. Współczesny świat otoczony jest wyświetlaczami. Wszelkiego rodzaju ekrany znajdują się nie tylko w naszych domach, telefonach, komputerach, ale także w restauracjach, sklepach, zegarkach, a co raz częściej także w urządzeniach audio, które teoretycznie mogłyby bez problemu funkcjonować bez nich.

Ewolucja
Na przestrzeni ostatnich lat ewolucja jaką przeszły wyświetlacze pozwoliła sprawić, że przekątne 14-21", jakie jeszcze w latach 90-tych poprzedniego wieku były bazą dla telewizorów CRT stacjonujących w pokojach, obecnie są do znalezienia w przenośnych urządzeniach, które nosimy w plecakach. W porównaniu do technologii sprzed lat, współczesne rozwiązania obejmujące LCD, OLED, LCoS, czy różne rozwiązania projekcji laserowej oferują m.in. znacznie wyższą rozdzielczość, zdecydowanie szersze spektrum kolorów, wysokie poziomy jasności oraz lepszą efektywność energetyczną. Z drugiej strony, te same technologie wprowadziły do treści video rozmycia, drgania i inne zakłócenia przekładające się na szarpany ruch obiektów na ekranach, który może być zauważalny szczególnie podczas ujęć korzystających z techniki panoramowania. Te wizualne artefakty mogą u niektórych odbiorców znacząco odciągać uwagę od oglądanych treści. Zakłócenia tego typu pojawiają się głównie dlatego, że nowoczesne wyświetlacze do prezentacji obrazów wykorzystują metodę znaną jako "samlpe and hold". Ci którzy pamiętają nieco starsze technologie, mogą nie kojarzyć tego typu problemów.


Technologie wyświetlania
Do dziś filarami filmu i klasycznego pojęcia kina pozostają projektory. Filmy są zasadniczo sekwencją statycznych obrazów (tzw. klatek), które wyświetla się w szybkim tempie. Zwykle w świecie kina, są to 24 klatki na sekundę - czyli 24 fps. Obracająca się migawka projektorów kinowych blokowała okresowo światło, zapewniając krótki okres ciemności pomiędzy poszczególnymi klatkami. Aby uniknąć migotania, projektory filmowe zwykle wyświetlały każdą klatkę dwa lub trzy razy. Wprowadzona okresowa ciemność pozwalała mózgom łączyć szybko wyświetlane obrazy w płynnie wyglądający ruchomy obraz. Powstały ruch ma unikalną cechę, często nazywaną "obrazem kinowym", który różni się od tego jak prezentowane treści video wyglądają na wyświetlaczach korzystających z rozwiązań sample and hold.

Starsze technologie wyświetlania i fakt, że filmy niegdyś oglądane były tylko w kinach (przez co tylko przy wykorzystaniu projektorów) ustanowiły niejako standardy w prezentacji ruchu, które do dziś w branży są obecne i przekładają się na pewne oczekiwania względem współczesnych wyświetlaczy i tego jak powinny one radzić sobie z przetwarzaniem ruchu.

Technologią, która przez większą część XX w. była kwintesencją domowych wyświetlaczy było CRT (Cathode Ray Tube). Telewizory kineskopowe wykorzystywały specjalne lampy przeznaczone do przetwarzania sygnału elektrycznego (wizyjnego) na obraz świetlny, oglądany na ekranie urządzenia. Ekrany kineskopowe, od wewnętrznej strony pokryte były luminoforem. Obrazy tworzone były poprzez wysyłanie elektronów na ekran. Szybkie i ciągłe skanowanie wiązek elektronowych, linia po linii oświetlało luminofory na ekranie, tworząc pełny obraz. Technologia CRT, z reguły nie miała problemów z rozmyciami ruchu jakich doświadcza się we współczesnych wyświetlaczach, ponieważ luminofory świeciły tylko przez krótki okres od uderzenia przez wiązkę elektronów, po czym gasły jeszcze przed pojawieniem się następnej klatki. To sprawiało, że w dowolnym momencie tylko niewielka część ekranu emitowała światło, co okazało się dobrze współgrać z postrzeganiem obrazów przez nasze oczy. Dzięki temu, ruchome obiekty wyglądały z reguły ostro i szczegółowo. Technologia kineskopowa miała oczywiście sporo wad w innych obszarach związanych z obrazem, ale nie na tym się tu skupiamy, więc idziemy dalej.

A dalej mamy wyświetlacze plazmowe, które tworzyły obrazy przy użyciu maleńkich komórek gazowych umieszczonych między dwoma panelami szkła. Komórki te, wypełnione mieszanką gazów szlachetnych, pod wpływem prądu stawały się plazmą i emitowały światło ultrafioletowe. Światło to wchodziło w reakcję z fosforami znajdującymi się wewnątrz wyświetlacza. Podobnie jak technologia CRT, wyświetlacze plazmowe nie korzystały z metody sample and hold. Krótkotrwałe błyski światła z fosforów, w połączeniu ze techniką odświeżania stosowaną w plazmach, skutkowały minimalnym rozmyciem ruchu. Jednak plazmy nie były całkowicie wolne od artefaktów związanych z przetwarzaniem ruchu, ponieważ stosowana w tych wyświetlaczach metoda sterowania podrzędnego wprowadzała pewne zakłócenia w tym aspekcie. Plazmy (głównie ze względów kosztowych) zostały ostatecznie zastąpione wyświetlaczami LCD, do których po pewnym czasie dołączyły OLEDy.

Ekrany LCD (Liquid Crystal Display) do działania korzystają z podświetlenia (najczęściej LED lub miniLED). Komórki ciekłokrystaliczne, zachowują się podobnie jak migawki i w połączeniu z przepuszczanym światłem tworzone są obrazy. Technologia OLED z kolei, charakteryzuje się samoemisyjną naturą (nie wymaga podświetlenia), gdzie możliwe jest zarządzanie (włączanie/wyłączanie i sterowanie) poszczególnymi pikselami. Daje to m.in. niesamowite poziomy czerni i współczynniki kontrastu. Obydwie technologie (zarówno LCD jak i OLED) są technologiami, w których spotykamy wspomnianą technologią sample and hold.


Sample and Hold
Czym zatem jest owo sample and hold? W dużym uproszczeniu, technologia działa tak, że gdy zaczyna się wyświetlanie treści video i pojawia się pierwsza klatka (sample), utrzymywana jest ona na ekranie (hold), dopóki nie zostanie wyświetlona następna. I tak przez cały czas prezentowania treści wideo. To podejście nie zawsze dobrze współgra z naturalnym postrzeganiem ruchu przez nasze oczy, co przekłada się na różnego rodzaju rozmycia i drgania.

W świecie współczesnych projektorów także napotykamy na metodę sample and hold. W projektorach LCD i LCoS źródło światła rozszczepiane jest na widma światła czerwonego, zielonego i niebieskiego, które są przepuszczane przez trzy oddzielne panele LCD/LCoS, a następnie łączone. Same panele LCD i LCoS w działaniu także wykorzystują metodę sample and hold, jednak ze względu na nieco inną technologię generowania obrazów, problemy z przetwarzaniem ruchu mogą delikatnie się różnić od tych na telewizorach.

Swego rodzaju wyjątkiem pośród popularnych technologiach wyświetlania są projektory DLP, które wykorzystują maleńkie lustra ułożone w matrycy na układzie półprzewodnikowym, znanym jako DMD (Digital Micromirror Device). Każde lustro odpowiada pikselowi i przechyla się odpowiednio aby odbijać światło w wybranym kierunku. Aby tworzyć różne intensywności nasycenia kolorów urządzenia DLP wykorzystują regulację sygnału PWM, co może przypominać technologię plazmową. Do wyświetlania obrazów w projektorach DLP nie wykorzystuje się metody sample and hold. Wstępnie brzmi to jak rozwiązanie problemu, jednak urządzenia DLP stosują inne rozwiązania (np wykorzystywanie dithering'u do tworzenia obrazów), które także generują artefakty powiązane z przetwarzaniem ruchu, a poza tym mają też inne bolączki (jak chociażby efekt tęczy)


Postrzeganie ruchu przez organizm ludzki
Postęp w technologiach wyświetlania wprowadził wiele przełomowych rozwiązań, ale przy okazji przypadkowo uwydatnił pewne cechy naszego układu wzrokowego. Istnieje spora różnica między postrzeganiem ruchu w rzeczywistości a na ekranie. Codzienność oferuje nam ciągły i płynny strumień informacji, podczas gdy wyświetlacze muszą renderować ruch za pomocą kolejnych statycznych obrazów. I o ile można przyjąć, że w założeniu producenci urządzeń od zawsze dążą do możliwie najbardziej naturalnego pokazania ruchu na wyświetlaczach, to mając na uwadze wspomniane na początku "standardy i oczekiwania", owo założenie okazuje się być pewnego rodzaju wyzwaniem dla współczesnych technologii, szczególnie jeśli chodzi o odtwarzanie filmów.

Nasze mózgi doskonale wypełniają "luki wizualne", dzięki czemu zapewniają nam postrzeganie sekwencji klatek jako płynny obraz. Jednak współczesne metody tworzenia obrazów takie jak sample and hold wprowadzają pewne utrudnienie w tym procesie. Utrzymywanie każdej klatki na ekranie przez cały okres odświeżania generuje artefakty i rozmycia. Dzieje się tak, ponieważ nasze oczy oczekują płynnego ruchu, a spotykają się z obrazami, które zbyt długo pozostają statyczne.

Rzecz w tym, że oczekujemy ruchów takich jak w naturze, ale filmy kręcone z szybkością 24 kl./s nie prezentują ich w ten sposób. W rezultacie ruch jest nieco drżący, a drgania te sprawiają, że obraz wygląda mniej wyraźnie, niż powinien.

Jak opisaliśmy wyżej, starsze projektory kinowe i telewizory kineskopowe wprowadzały "migotanie". Pomagało ono naszemu mózgowi lepiej interpretować ruch, ponieważ obraz nie był utrzymywany w tej samej pozycji przez dłuższy czas. Zamiast tego obraz na krótko pojawiał się, a następnie znikał, co było bardziej przyjazne dla ludzkiego układu wzrokowego, ale generowało migotanie. Technologie korzystające z metody sample and hold niwelują efekt migotania, ale wprowadzają wspomniane problemy związane z drganiami, rozmyciem i innymi artefaktami.

24fps - kinowy standard
Dlaczego zatem 24fps pozostaje standardem kinowym i jak ze wspomnianymi problemami radzą sobie nowe technologie?
Branża filmowa zdecydowała się na standard 24fps w pierwszej połowie XXw. Techniczne ograniczenia 35mm taśm w połączeniu z ówczesnym uwzględnieniem kosztów produkcji zaowocowało właśnie takim wyborem. Obecnie do tych argumentów dorzucić można "przyzwyczajenie/pokochanie" tego rozwiązania. Niemalże 100 lat tworzenia filmów w tym standardzie zaowocowało zakorzenieniem się tego rodzaju stylistyki i estetyki, zarówno w środowisku twórców jak i wielu kinomanów. Specyficzne obrazowanie z delikatnym rozmyciem w wyjątkowy sposób przekazuje emocje i dramatyzm, o które ciężko poza standardem 24fps. To właśnie połączenie tych cech stało się synonimem "kinowego obrazu" cechującego się fakturą wizualną inną od hiperrealistycznej klarowności video z wyższą liczbą klatek i mniejszymi szumami. I dlatego, mimo że współczesne rozwiązania oferują możliwość zapisu w liczbie wielokrotnie większej niż 24fps, to w taki sposób (głównie 50/60fps) realizowane są przede wszystkim treści sportowe i opery mydlane. Sporadycznie, zdarza się napotkać produkcje wychodzące poza schemat. James Cameron podczas kręcenia filmu "Avatar: The way of water" korzystał zarówno ze standardu 24fps, jak i 48fps (określanego często jako HFR). Peter Jackson także zdecydował się wykorzystać wyższą częstotliwość klatek podczas kręcenia serii Hobbit. Co prawda powyższe przykłady nie wydają się wynikać z artystycznej wizji twórców, gdyż zarówno Pan Cameron jak i Pan Jackson wielokrotnie zaznaczali, że wykorzystanie HFR podyktowane było chęcią poprawy wrażeń 3D, a nie ogólnego upłynnienia materiału.

Technologie upłynniania ruchu
Nie zmienia to faktu, że wraz z ewolucją technik cyfrowego wyświetlania obrazu, producenci poszukują i rozwijają technologie mające zapewnić wrażenia kinowe pozbawione rozproszeń. Na chwilę obecną dwa najbardziej popularne rozwiązania odnoszące się do ruchu to DFI (nieraz określane jako BFI) oraz interpolacja ruchu.

DFI to technika opracowana z założeniem emulacji cech projektorów kinowych. Algorytm okresowo wstawia ciemne (DFI) lub czarne (BFI) klatki pomiędzy rzeczywiste klatki wideo. To podejście pod wieloma względami może łagodzić rozmycie ruchu, jednak podobnie jak w przypadku oryginalnego rozwiązania, wprowadza z reguły pewien stopień migotania, co może rozpraszać niektórych widzów. Ponadto technika ta zmniejsza ogólną jasność prezentowanych treści, co w świecie co raz bardziej ukierunkowanym na HDR i co raz wyższe poziomy jasności może stanowić dla wielu pewien problem.

Interpolacja ruchu działa poprzez generowanie dodatkowych klatek, które są wstawiane między oryginalne klatki video. Rozwiązanie to tworzy iluzję płynniejszego ruchu. W teorii brzmi to bardzo dobrze – zbliża sposób prezentowania, do tego z czym oczy spotykają się w świecie rzeczywistym. Jednak w praktyce, o ile interpolacja rzeczywiście zmniejsza drgania i rozmycia, wprowadza własne problemy. Najbardziej zauważalnym jest tzw. "efekt teatralny". Termin ten odnosi się do hiperrealistycznego wyglądu, który sprawia, że treści filmowe wyglądają jak opera mydlana (stąd Soap Opera Effect). Ponadto, szybkie sceny lub szybkie ruchy kamery, w połączeniu z ze zbyt małą ilością informacji oraz ciągle jeszcze oraniczonymi możliwościami algorytmów sprawiają, że interpolacja zawodzi, co przekłada się na widoczne artefakty, takie jak rozerwania, rozmycia, halo/aureole, przycięcia oraz generalnie nienaturalny ruch.

Ostatecznie wybór zastosowania technik takich jak DFI lub interpolacja ruchu to sprawa indywidualna. Wielu z domowych kinomanów może rozważać za i przeciw każdej technologii i podjąć właściwą dla siebie decyzję. W przypadku, gdy dany produkt udostępnia opcje wyboru można sprawdzić, w jakim stopniu chcemy angażować algorytmy i jak mocno upłynnione mają być efekty wizualne. Teoretycznie im bardziej chcemy się zbliżyć do wizji reżysera tym mniejszy powinien być wpływ upłynniaczy na prezentowane treści.

Co dalej ?
Patrząc w przyszłość, z technologicznego punktu widzenia można się zastanawiać, czy postęp w algorytmach opartych na sztucznej inteligencji umożliwi lepsze przetwarzanie ruchu z mniejszą liczbą artefaktów? Może pozwoli na wyeliminowanie efektu teatralnego? A może hybrydowe podejście łączące wysokiej jakości algorytmy interpolacji ruchu oparte na sztucznej inteligencji z ulepszonym DFI mogłoby stanowić rozwiązanie idealne? Być może pojawią się zupełnie nowe metody, mające na celu złagodzenie omawianych problemów z zachowaniem tak lubianego przez twórców wrażenia "kinowej prezentacji".

My ze swojej strony przypominamy, że zdecydowanie lubimy kinowy charakter prezentacji i w naszych recenzjach i opisach z reguły skupiamy się na tym, jak dobrze urządzenia oddają właśnie ten rodzaj obrazu. Jednocześnie sprawdzamy wszystko, co nam wpada w ręce i cierpliwie czekamy na produkt, który zrobi na nas efekt WOW w tym aspekcie.

A jakie są Wasze preferencje oglądania treści video? Czy przełączacie tryby obrazu, gdy zmienia się rodzaj wyświetlanych treści (film vs sport vs gra)? Czy może aspekty związane z płynnością ruchu w ogóle nie są czymś, na co zwracacie uwagę?


*Tekst powstał w oparciu o dokument (White Paper) firmy pracującej nad zaawansowanymi rozwiązaniami technik przetwarzania obrazu;
** źródło grafiki wykorzystanej do głównego bannera: digitalcameraworld.com