3DMark05 - analiza programu

Wpływ sterowników na wyniki

Zarówno ATI jak i NVIDIA dosłownie na jeden dzień przed premierą 3DMark05 opublikowały specjalne wersje sterowników. Obie firmy naciskały na nas, byśmy testy przeprowadzali z użyciem tych właśnie driverów. Odpisaliśmy, że użyjemy ich dopiero wtedy, gdy zostaną zaakceptowane przez Futuremark. Na reakcję firmy nie trzeba było długo czekać. Jeszcze tego samego dnia, pod wieczór (we wtorek w ubiegłym tygodniu) Futuremark wysłał do dziennikarzy list z informacją, że sterowniki 8.07 ATI i 66.51 NVIDII są "czyste" - pozbawione nieuczciwych optymalizacji.

Dlaczego zatem ATI i NVIDIA naciskały na nas, byśmy użyli tych właśnie sterowników? Przeprowadziliśmy szybkie testy na platformie:

• Procesor Athlon 64 3200+
• Płyta główna ASUS K8N-E Deluxe z chipsetem nForce3 250Gb
• 512 MB DDR433 Corsair

Do testów użyliśmy dwóch kart graficznych: RADEON X800 XT Platinum Edition i GeForce 6800 Ultra. Posłużyliśmy się następującymi sterownikami:

• ATI Catalyst 4.9 - najnowsze oficjalne (zawierają sterowniki 8.05)
• ATI Catalyst 4.11 beta - zawierają sterowniki 8.07 beta
• NVIDIA ForceWare 61.77 - najnowsze oficjalne
• NVIDIA ForceWare 66.51 - sterowniki opublikowane przez NVIDIĘ specjalnie z okazji premiery 3DMarka05
• NVIDIA ForceWare 66.81 - najnowsze obecnie dostępne sterowniki

Zobaczmy na uzyskane przez nas wyniki:


Ewidentnie widać, że obie firmy "coś grzebały" w sterownikach, by zwiększyć wydajność w 3DMarku05. Futuremark dokonał jednak analizy sterowników 8.07 (Catalyst 4.11 beta) i ForceWare 66.51, i nie doszukał się żadnych oszustw.

Skontaktowaliśmy się zarówno z ATI, jak i NVIDIĄ i zadaliśmy pytanie wprost: czy firmy optymalizowały sterowniki dla 3DMarka05. Odpowiedź obu firm była podobna: "Poprawiliśmy błąd, który powodował zaniżanie wyników na naszych kartach z 256 MB pamięci. W efekcie uzyskaliśmy wzrost wydajności w niektórych grach sięgający nawet 20%" (ATI), "Paweł, zauważ że nasze karty przyspieszają w grach z każdą kolejną wersją sterowników" (NVIDIA).

Ponieważ żadna z firm nie przyznała się do optymalizowania sterowników dla 3DMark05, postanowiliśmy przeprowadzić własne śledztwo. Przechwyciliśmy 8 tysięcy zrzutów ekranowych, które analizowaliśmy "klatka po klatce", by ostatecznie wyselekcjonować niecałych 200 screenshotów, na których widoczne były różnice.

Pomiędzy sterownikami ForceWare 66.81 i 66.51 nie ma żadnych różnic w renderowanym obrazie. Przedstawimy zatem porównanie obrazu generowanego przy sterownikach ATI 8.05 (Catalyst 4.9), ATI 8.07 (Catalyst 4.11 beta), NVIDIA ForceWare 61.77 oraz NVIDIA ForceWare 66.51.

Na początek poddamy analizie klatkę nr 276 z testu pierwszego (Return to Proxycon). Proponujemy kliknąć na miniaturkach zdjęć i duże obrazki zapisać na dysku, a następnie przeglądać je narzędziem w stylu ACDSee - wówczas różnice obrazu od razu są widoczne. Duże obrazki zapisaliśmy w formacie JPEG. Co prawda format ten wykorzystuje kompresję stratną, jednak artefakty kompresji są na tyle niewielkie, że nie przeszkadzają w analizie screenshotów. Stopień kompresji dobraliśmy tak, by zrzuty ekranowe możliwie jak najmniej różniły się od swych nieskompresowanych pierwowzorów.

Jak widać, nie są jednak wcale takie duże. Dla ułatwienia kilka wybranych fragmentów zaznaczyliśmy czerwonymi ramkami. Obraz generowany przez karty RADEON X800 wydaje się być minimalnie lepszej jakości (RADEON odwzorowuje więcej szczegółów). Różnice są jednak naprawdę bardzo niewielkie i dostrzegalne dopiero przy wnikliwej analizie obrazków.

GeForce 6800 Ultra
ForceWare 61.77	ForceWare 66.51
RADEON X800 XT Platinum Edition
Catalyst 4.9	Catalyst 4.11 beta

Kolejna klatka, którą wrzucamy pod lupę nosi numer 1620. RADEON X800 ponownie wygenerował ciuteńkę lepszy obraz (widać więcej szczegółów). Różnice są bardzo niewielkie. Co ciekawe, jeśli porównacie zrzut przy sterownikach Catalyst 4.9 i Catalyst 4.11 beta i zwrócicie uwagę na podłogę pod nogami cyborga, zauważycie, że na sterownikach Catalyst 4.11 beta brak jest cienia. Co ciekawe, cień podczas odtwarzania testu jest obecny, a nie ma go jedynie na zrzucie ekranowym! Ale o tym zaraz napiszemy szerzej!

GeForce 6800 Ultra
ForceWare 61.77	ForceWare 66.51
RADEON X800 XT Platinum Edition
Catalyst 4.9	Catalyst 4.11 beta

Następna klatka pochodzi już z kolejnego testu, Firefly Forest. Klatka nosi numer 199.

Tutaj można zaobserwować bardzo ciekawe zjawisko. Wesołe światełko jest jakby pozbawione blasku na wszystkich zrzutach ekranowych z wyjątkiem tych przechwyconych przy sterownikach Catalyst 4.9! Co ciekawe, w rzeczywistości światełko świeci tak samo na wszystkich kartach i przy wszystkich wersjach sterowników...

Zaznaczyliśmy także jeden z kamieni. Zwróćcie uwagę na cień. Na GeForce 6800 cień jest w paski. Jest to efekt uboczny cieni generowanych przy pomocy funkcji DST. Ale o tym później.

GeForce 6800 Ultra
ForceWare 61.77	ForceWare 66.51
RADEON X800 XT Platinum Edition
Catalyst 4.9	Catalyst 4.11 beta

Ostatni screen, który poddamy analizie, ma numer 2280 i pochodzi ze sceny Canyon Flight. Tym razem nie zaznaczyliśmy już interesującego fragmentu, bo jest aż nadto widoczny :-).

GeForce 6800 Ultra
ForceWare 61.77	ForceWare 66.51
RADEON X800 XT Platinum Edition
Catalyst 4.9	Catalyst 4.11 beta

Obraz wygląda poprawnie jedynie na karcie RADEON X800 XT PE przy sterownikach Catalyst 4.9. Poprawnie... tylko na zrzucie ekranowym, bowiem w rzeczywistości dym jest renderowany przez wszystkie karty! Nie widać go jedynie na zrzutach ekranowych.

Na wielu innych zrzutach, które przechwyciliśmy, widać jeszcze podobne różnice. Problem tylko w tym, czy narzędzie do analizy obrazu do czegokolwiek się nadaje, skoro co innego zapisuje w pliku... a co innego widać na ekranie.

Problem zgłosiliśmy już firmie Futuremark. Czekamy na reakcję.