Grafika komputerowa cały czas podlega procesowi ewolucji. Staje się coraz bardziej fotorealistyczna. A Nvidia stara się być jedną z wiodących firm w tej dziedzinie. Cały czas rozwija swoje układy graficzne, czego dobrym przykładem jest ich ostatni rdzeń graficzny Turing wypakowany po brzegi nowymi technologiami. Oczywiście, pierwsze miejsca na liście najnowszych i najważniejszych dla Nvidii funkcji zajmują ray tracing oraz DLSS, ale to nie jedyne nowości, które zostały zaimplementowane w nowym rdzeniu Turing.
W tym artykule chcę przybliżyć czytelnikom, co kryje się pod pojęciem Variable Rate Shading, które oznacza cieniowanie pikseli ze zmiennym współczynnikiem wypełnienia, oraz jakie algorytmy i techniki wchodzą w jego zakres.
Co to jest Variable Rate Shading (VRS) i czy był już wykorzystywany
Zacznijmy od tego, czym jest Variable Rate Shading. Są to techniki, algorytmy cieniowania kolorami poszczególnych pikseli, ale w różnym stosunku. Bez użycia tych technik każdy piksel cieniowany jest osobno, wtedy mówimy o cieniowaniu jeden do jednego. W algorytmach VRS możemy cieniować piksele w różnych stosunkach. W kartach z rdzeniem Maxwell i Pascal dostępne były dwa tryby VRS, dwa do dwóch i cztery do czterech. To oznacza, że w pierwszym przypadku cieniowanie zachodziło od razu na czterech pikselach, a w drugim na szesnastu pikselach. Skutkiem ubocznym takiego cieniowania było pogorszenie jakości obrazu, ale za to możliwy jest zysk na wydajności.
W poprzednich generacjach kart graficznych Nvidii opartych na rdzeniach Maxwell i Pascal występowały takie techniki, a dwie z nich zasługują na wyszczególnienie. Są to Multi-Resolution Shading (MRS) oraz Lens-Matched Shading (LMS). Obie były wykorzystywane w zastosowaniach VR, żeby optymalizować obciążenie przy cieniowaniu (ang. shading) pikseli. Techniki te były używane głównie w VR, ponieważ wykorzystywane tam systemy soczewek wprowadzają zniekształcenia i obraz nie byłby jednakowy w całym polu widzenia. W centralnym punkcie widzimy szczegółowy obraz, im bliżej krańca pola widzenia, tym obraz jest mniej detaliczny. Nvidia postanowiła to wykorzystać. Techniki MRS i LMS dzielą klatkę obrazu na szesnaście mniejszych części, w których w zależności od potrzeb stosowane jest różne cieniowanie. Jak łatwo zobaczyć na zrzucie ekranu poniżej, tak mała liczba podziałów powoduje utratę jakości obrazu.
Wraz z wprowadzeniem na rynek kart graficznych GeForce RTX z rdzeniem Turing ulepszono algorytmy VRS. W nowych kartach obraz nie jest już dzielony na szesnaście obszarów, które mogą być cieniowane jedną wartością. Dzielony jest na obszary o wielkości 16x16 pikseli, co w rozdzielczości 1920x1080 przekłada się na 8100 obszarów, w których możemy dokonywać optymalizacji VRS. Dodatkowo w kartach wyposażonych w rdzenie Turing przybyły nowe algorytmy cieniowania. Do podstawowych trzech dodane zostały jeszcze cztery 1x2, 2x1, 4x2, 2x4. Dzięki temu mamy większą kontrolę nad obszarem, w jakim dochodzi do cieniowania.
W skład Variable Rate Shading (VRS) wchodzą trzy algorytmy.
- Content Adaptive Shading − zmienia współczynnik cieniowania pikseli w scenach, gdy zmiany koloru w danym obszarze sceny zachodzą powoli.
- Motion Adaptive Shading − zmianie stopnia cieniowania podlegają poruszające się obiekty lub cała scena, jeśli wykorzystywana jest technika rozmycia ruchu.
- Foveated Rendering − zmianie stopnia cieniowania podlegają obszary, na których nie skupia się nasz wzrok. Ten algorytm wykorzystywany jest głównie w VR.
Content Adaptive Shading
W Content Adaptive Shading wskaźnik cieniowania ulega obniżeniu przez spójność (jednolitość) koloru oraz obszar, na jakim występuje dany kolor w czasie wyświetlania klatki animacji. Współczynnik cieniowania obliczany jest dla poszczególnych obszarów 16x16 pikseli zawsze na końcu generowania aktualnej klatki animacji w procesie postprodukcji i te informacje są wykorzystywane dalej przy tworzeniu kolejnej klatki animacji. Jeśli mamy więc w scenie rejon, który jest relatywnie ubogi w szczegóły, jak na przykład podłoga lub niebo, możemy obniżyć współczynnik cieniowania dla tych obszarów w następnej klatce animacji na podstawie analizy, jaka została dokonana w procesie postprodukcji. Efektem tej analizy jest tekstura 16x16 pikseli, która zawiera informacje, jak ma przebiec proces cieniowania. Jak ten algorytm wpływa na jakość końcową otrzymanego obrazu, pokazujemy na kolejnej stronie (choć według Nvidii nie ma on żadnego wpływu na jakość końcową). Aktualnie tylko jeden tytuł wspiera technikę Content Adaptive Shading − jest to Wolfenstein II: The New Colossus.
Motion Adaptive Shading
Jak sama nazwa wskazuje, algorytm Motion Adaptive Shading ma wpływ na obiekty poruszające się. Ale najpierw trochę teorii. Nasze oczy przystosowane są do tego, żeby śledzić obiekty w sposób liniowy, ciągły, dzięki czemu widzimy cały czas wszystkie detale na danym obiekcie. Na monitorach obraz jest inaczej wyświetlany. Obiekt porusza się skokowo z jednej klatki animacji do drugiej, a na wrażenie płynności tego ruchu ma wpływ częstotliwość odświeżania monitora oraz liczba generowanych klatek animacji w ciągu jednej sekundy. Z perspektywy naszego oka, które stara się wygładzić ruch poruszającego się obiektu na ekranie monitora, drży on delikatnie do tyłu i do przodu na naszej siatkówce, przez co tracimy część detali, jakie są na obiekcie. Dlatego widzimy mniej dokładny obraz poruszającego się obiektu. Rysunek poniżej obrazuje ten przypadek
Po lewej stronie widzimy statyczną grafikę. Wyobraźmy sobie, że jest ona wyświetlona na ekranie. Obiekt zaczyna się poruszać i przebywa pewną odległość. Na kolejnej klatce animacji ma pozycję zmienioną względem stanu początkowego − pokazuje to rysunek u góry po prawej stronie. Szybko zmieniające się klatki nie są jednak dobrze widoczne dla oka ludzkiego. Finalnie wychwyci ono obraz pokazany w prawej dolnej części. Widać wyraźną utratę ostrości. Znając tę zależność, inżynierowie Nvidii zaproponowali następujące rozwiązanie: w przypadku ruchu nie ma potrzeby cieniować każdego piksela oddzielnie, można je cieniować grupami − o ile algorytm odnajdzie obszary takie same lub bardzo podobne. Jeśli obiekt jest bardziej szczegółowy, obszary cieniowania zmniejszane są z 4x4 na mniejsze. Na poniższym wykresie możemy sprawdzić, jak zmienia się współczynnik cieniowania dla Motion Adaptive Shading w przypadku ruchu dla obiektu poruszającego się trzy piksele na klatkę animacji.
Ten algorytm oczywiście możemy łączyć z pozostałymi dwoma, dodatkowo optymalizując jakość wyświetlanego obrazu, jednak najważniejsze jest to, ze MAS minimalizuje poświatę poruszającego się obiektu.
Foveated Rendering
Ten trzeci z algorytmów wykorzystywany jest głównie hełmach VR i sporadycznie w innych zastosowaniach. Działanie tego algorytmu wykorzystuje to, że nasze oko postrzega najwięcej szczegółów w obszarze, na którym skupiamy wzrok. Detale, które znajdują się na granicy pola widzenia, nie są tak dobrze definiowane. Technika ta śledzi ruch naszych gałek ocznych, wykorzystując tracker (np. Tobi Eye Tracker). Tam, gdzie skupiamy nasz wzrok, obraz renderowany jest z pełnym cieniowaniem, a tam, gdzie w danym momencie nie patrzymy, obraz wyświetlany jest z niższym parametrem cieniowania.
Nvidia Variable Rate Shading
Nvidia podaje, że wykorzystując algorytmy Variable Rate Shading, zyskujemy na wydajności, nie tracąc przy tym nic na jakości generowanego obrazu. Postanowiliśmy bliżej przyjrzeć się tym algorytmom i sprawdzić, czy założenia Nvidii są możliwe do spełnienia i czy faktycznie gry obsługujące te techniki działają szybciej.
Mimo że techniki Variable Rate Shading zostały opracowane już dawno temu i na wielu prezentacjach widzieliśmy długą listę gier, które mają je wspierać, jak na razie VRS można sprawdzić tylko w grze Wolfenstein II: The New Colossus. Tytuł ten wspiera dwie techniki: Content Adaptive Shading oraz Motion Adaptive Shading. Jak pisaliśmy na poprzedniej stronie, żeby skorzystać z tych algorytmów, trzeba mieć najnowszą kartę graficzną Nvidii z rdzeniem Turing, a więc grono potencjalnych użytkowników jest mocno zawężone.
Do porównania jakości obrazu wykorzystana zostanie oczywiście gra Wolfenstein II: The New Colossus. Zanim jednak do tego przejdziemy, chciałbym zaprezentować, jak działa Content Adaptive Shading i Motion Adaptive Shading w czasie rzeczywistym w Wolfenstein II: The New Colossus. Udało nam się uruchomić warstwę (ang. overlay) odpowiedzialną za wyświetlanie informacji na temat tych technik.
Prezentowane materiały wideo zostały nagrane w rozdzielczości 1920x1080 pikseli i są podzielone na 8100 stref (16x16 pikseli), które w czasie rzeczywistym pokazują wykorzystanie algorytmów Content Adaptive Shading.
- Obszary podświetlone kolorem niebieskim wykorzystują cieniowanie 1x2 lub 2x1 piksel.
- Obszary oznaczone na zielono używają cieniowania 2x2 piksele.
- Kolor żółty odpowiada za cieniowanie 2x4 lub 4x2 piksele.
- Kratki niepokolorowane cieniują piksele w stosunku jeden do jednego.
- Białe kropki w niektórych kratkach oznaczone są jako transpozycje; domyślam się, że może mieć to coś wspólnego z przeniesieniem informacji z jednej klatki animacji do kolejnej.
W Wolfenstein II: The New Colossus do wyboru mamy trzy podstawowe tryby Content Adaptive Shading: Jakość, Zbalansowany i Wydajność. Dodatkowo możemy całkowicie wyłączyć CAS lub wybrać tryb niestandardowy, w którym jest możliwość sprawdzenia, jak poszczególne ustawienia wpływają na działanie tej funkcji.
Nvidia Adaptive Shading w Wolfenstein II: The News Colossus − schemat działania
Nvidia Adaptive Shading tryb Jakość
Nvidia Adaptive Shading tryb Zbalansowany
Nvidia Adaptive Shading tryb Wydajność
Po obejrzeniu materiałów wideo bardzo łatwo możemy zobrazować sobie działanie algorytmów VRS. Widać wyraźnie, że wszędzie, gdzie dochodzi do wyświetlania w miarę jednolitych powierzchni w scenie, algorytmy VRS są intensywnie wykorzystywane. Wraz ze zmianą trybu Nvidia Adaptive Shading zmienia się natężenie użycia tych technik.
W trybie Zbalansowanym w głównej mierze wykorzystywane jest cieniowanie 2x2 piksele i 2x1 piksel, czyli dwa tryby stawiające na jak najmniejszą utratę jakości obrazu. Pojawiają się też obszary z użyciem cieniowania 4x2 piksele − w przykładowym miejscu testowym jest to powierzchnia na broni, która przez większość czasu jest zacieniona.
Zmiana ustawienia Nvidia Adaptive Shading na tryb Wydajność odmienia stosunek użycia cieniowania 2x1 i 2x2 piksele względem 2x4 piksele. Teraz widzimy, że w głównej mierze wykorzystywany jest tryb cieniowania 2x4 piksele. Jednak nawet w tym trybie nie pojawiają się kwadraty czerwone, które cieniują obraz w trybie 4x4 piksele, co jest o tyle znaczące, że możemy podejrzewać, iż utrata jakości obrazu z wykorzystaniem tego trybu jest duża i twórcy postanowili ograniczyć współczynnik cieniowania do 4x2 piksele.
W ustawianiu Jakość użycie algorytmów Content Adaptive Shading oraz Motion Adaptive Shading jest najmniejsze. Klatka animacji w większości wyświetlana jest w trybie jeden do jednego piksela, a elementy, w wypadku których dochodzi do stosowania algorytmów VRS, używają prawie wyłącznie dwóch najmniej stratnych trybów cieniowania. Sporadycznie możemy zaobserwować na ekranie kratki wypełnione żółtym kolorem.
Jakość
Przejdźmy zatem do porównania jakości obrazu. Bo dopiero teraz, mając wizualne przedstawienie działania algorytmów VRS, wiemy, na jakie elementy generowanej klatki animacji należy skierować nasz wzrok, żeby zaobserwować ich działanie.
Nvidia Adaptive Shading w Wolfenstein II: The News Colossus − Jakość
Do porównania jakości generowanej grafiki wybraliśmy scenę, w której patrzymy się na podłogę w łodzi podwodnej (czerwonym kwadratem oznaczyliśmy miejsce próbki dla porównania VRS). Wybór tej sceny podyktowany był tym, że są to preferowane warunki dla technik VRS i na powierzchni podłogi nie zachodzą duże zmiany dotyczące koloru poszczególnych pikseli, podłoga nie jest też złożona geometrycznie.
Niestety, nie jest prawdą, że techniki Variable Rate Shading nie wpływają na końcową jakość generowanej grafiki. Z drugiej strony nie ma jednak co demonizować, utrata jakości obrazu nie jest duża. W pierwszej scenie testowej najłatwiej zaobserwować ją na metalowych płytach z wzorem w romby. W trybach Zbalansowany i Jakość utrata jakości grafiki jest prawie niedostrzegalna. Dopiero przełączenie się w tryb Wydajność powoduje, że od razu zauważymy wyraźny spadek jakości prezentowanego obrazu.
Druga grafika to początek naszego miejsca testowego, którego używamy podczas testów GPU. W porównaniu z pierwszą sceną testową druga jest dużo bardziej skomplikowana graficznie i przedstawia realne warunki, w jakich będziemy grać. Wykorzystujemy ją po to, żeby sprawdzić, czy utrata jakości grafiki będzie dla gracza zauważalna.
Podobnie jak w pierwszej scenie użycie dowolnego z dwóch trybów nastawionych na lepszą jakość wyświetlanej grafiki (Jakość, Zbalansowany) nie powoduje dużej utraty jakości. W trybie Zbalansowanym możemy już zauważyć mniej wyraźne szczegóły, widać to dobrze szczególnie w tych miejscach, gdzie jest ich dużo − na przykład na żłobieniach pokręteł czy napisach na lunecie. Zmiany są również widoczne nawet na dużych obiektach, choć uczciwie podchodząc do sprawy − nie przeszkadza to w grze, odczucia są w obu wypadkach bardzo zbliżone. Natomiast włączenie trybu Wydajność już w widoczny sposób wpływa na jakość wyświetlanego obrazu. Żłobienia na pokrętłach tracą prawie całą szczegółowość, krawędzie są postrzępione − w trybie tym bardzo dobrze widać utratę jakości.
Dla ciekawych przygotowaliśmy archiwum z grafikami z porównania jakości w postaci bezstratnych plików png.
Nvidia Variable Rate Shading − wpływ na wydajność
Na poprzedniej stronie udało nam się ustalić, że włączenie Nvidia Adaptive Shading wpływa na jakość generowanego obrazu. Co i w jakim stopniu w takim razie zyskujemy, włączając tę technikę? Oczywiście, większą wydajność. Według informacji przekazywanych przez Nvidię wzrost wydajności w specyficznych warunkach może wynieść nawet 50 procent, muszą to jednak być bardzo nietypowe warunki, nawet zmiana architektury nie daje zwykle tak dużych skoków wydajności.
Przeprowadziliśmy testy wydajności dla wszystkich kart, które wspierają te algorytmy, łącznie z najtańszą Nvidia GeForce GTX 1660 Ti (sprawdź jej cenę). Wyniki prezentujemy poniżej.
1920x1080 pikseli. Włączenie funkcji Nvidia Adaptive Shading w Wolfenstein II: New Colossus w każdym przypadku gwarantuje wzrost wydajności. Najmocniejszy GeForce RTX 2080 Ti (zobacz, w jakiej cenie jest obecnie ta karta) może poszczycić się wzrostem wydajności na poziomie 4,9 procent w trybie wydajność względem wartości początkowej. W przypadku słabszych kart współczynnik ten jest na zbliżonym poziomie, najtańszy stawce GeForce GTX 1660 Ti zyskuje 6 procent w trybie Wydajność.
2560x1440 pikseli. Najmocniejszy w stawce GeForce RTX 2080 Ti w tej rozdzielczości zyskuje około 8 procent wydajności. Najmniejszy wzrost wydajności, bo tylko 5-procentowy, osiągnął GeForce GTX 1660 Ti.
3840x2160 pikseli. Wydaje się, że wspomaganie w generowaniu obrazu przez kartę graficzną powinno być najbardziej potrzebne właśnie w rozdzielczości 4K. W zależności od tytułu wydajność nawet najnowszych GPU w tym trybie nie zachwyca. Dzięki technikom VRS Nvidii jesteśmy w stanie poprawić osiągi kart graficznych z rdzeniem Turing średnio o 8 procent. Co ciekawe, obserwujemy tutaj dość niecodzienne zjawisko − GeForce RTX 2060 FE z włączonym VRS wyprzedza mocniejszego GeForce RTX 2070 (sprawdź jego aktualną cenę) z wyłączoną funkcję Nvidia Adaptive Shading.
Podsumowanie.
Nvidia, wprowadzając na rynek karty graficzne z rdzeniem Turing, postawiła na innowacje. Zdecydowanie jest to krok naprzód, innowacje są przyszłościowe, jednak ich implementacja nie zależy wyłącznie od Nvidii, decyzje podejmują także twórcy gier. Na przykładzie Wolfenstein II: The New Colossus możemy stwierdzić, że deweloperzy muszą się jeszcze dużo nauczyć, zanim będą w stanie w pełni wykorzystywać dodatkowe funkcje. Jeśli bliżej przyjrzymy się implementacji funkcji VRS w Wolfenstein II: The New Colossus, zobaczymy, że z jakiegoś powodu zrezygnowano z jednego z algorytmów VRS, a mianowicie z wersji 4x4 piksele. W początkowej fazie implementacji było wsparcie dla tego algorytmu, możemy się tylko domyślać, że za jego wykluczeniem przemawiała zbyt duża utrata jakości wyświetlanego obrazu. Najważniejsze jest jednak to, że dzięki tym technikom faktycznie możemy zyskać odrobinę wydajności kosztem prawie niezauważalnego obniżenia jakości obrazu. W trakcie dynamicznej rozgrywki taka utrata jakości jest bardzo trudna do wychwycenia. Ja sam kilka razy podczas testów miałem duże wątpliwości, w którym trybie aktualnie została uruchomiona gra. Żeby to stwierdzić, konieczne było zatrzymanie rozgrywki i przyjrzenie się szczegółom na ekranie monitora.
Zdecydowanie polecam granie z włączoną funkcją Nvidia Adaptive Shading w trybie Jakość lub Zbalansowanym, kilka klatek na sekundę więcej w niektórych scenach, a w przyszłości i w innych grach − może zrobić różnicę. Najważniejsze jest jednak to, że przy bardzo wymagającym obliczeniowo ray tracingu zarówno DLSS, jaki VRS mogę nieco odciążyć GPU w obliczeniach.