Testowanie procesorów w grach – metody, miejsca testowe. Jak umiejętnie czytać wykresy wydajności?

Przedstawione wyniki są prawdziwe – zostały dobrane specjalnie do poszczególnych przykładów. Dobór procesorów nie jest, rzecz jasna, przypadkowy: to układy, które znacząco różnią się wydajnością. „Procesor X” to tajemnicza jednostka, która rzeczywiście występuje na rynku, ale nie zdradzamy, co to dokładnie jest – na razie. Przyjmijmy, że jest to nowy procesor, który właśnie wchodzi na rynek w cenie około 300 zł i którego producent zapewnia o zaskakująco wysokiej wydajności w tym przedziale cenowym.

W części testów użyliśmy karty graficznej Sapphire Radeon HD 7850 2 GB – o czym za każdym razem informujemy. W pozostałych wykorzystana została karta Sapphire Radeon HD 7970 Vapor-X.

* We wszystkich przypadkach wyłączyliśmy tryb Turbo i ustawiliśmy na sztywno częstotliwość, którą podajemy przy odpowiednim słupku na wykresie.

Wybiórczy dobór procesorów

Podstawowym problemem w wielu testach jest zbyt mała liczba jednostek użytych do porównania. Jeśli przykładowo porównamy wydajność GeForce’a GTX 670 z osiągami GTX-a 680, ale nie porównamy go z konkurencją spod znaku AMD z tej samej półki, to w jaki sposób ocenimy, czy zakup GTX-a 670 jest opłacalny? To samo jest z procesorami. Spójrzmy na przykład:

Co widzimy? Ów tajemniczy „Procesor X” o taktowaniu 3 GHz jest równie szybki jak dużo droższy Core i7-2600K, a nawet podkręcony Core i5-2500K! Można również z tego wywnioskować, że ta gra wykorzystuje technikę Hyper-Threading, skoro Core i7 taktowany o 500 MHz wolniej od Core i5 ma porównywalną wydajność.

Prawdziwy komentarz do powyższych wyników

W rzeczywistości nie da się wyciągnąć żadnych wniosków z powyższego wykresu. Głównie z tego powodu, że nie ma na nim przynajmniej dwóch układów o identycznej, lub choćby podobnej architekturze i liczbie rdzeni/wątków, ale o różnym taktowaniu. Procesorów jest po prostu za mało! Co się stanie, jeśli jeden dodamy?

Dorzucenie tylko jednego procesora mówi nam już wszystko na temat tego testu: jest on w stu procentach zależny od wydajności karty graficznej. Widać to bardzo dobrze po relacji między Core i5-2500K (3400 MHz) a Core i5-2500K „OC” (4000 MHz). Z 17-procentowej różnicy w częstotliwości otrzymaliśmy różnicę w wydajności rzędu 0,6%. Dodajmy jeszcze więcej procesorów:

Cóż, Core i3-2130 (3400 MHz) jest tak samo szybki jak Core i5-2500K @ 4000 MHz… Chyba nikt nie zakłada, że tak jest w rzeczywistości...

Prawidłowo przeprowadzony test wygląda tak:

Tutaj już wyraźnie widać, że „Procesor X” aż tak nie bryluje. Okazuje się wręcz, że jest to najwolniejszy układ w stawce. Co świadczy o dużej wartości tego testu? Całą potrzebną wiedzę zapewniają nam trzy wyniki Core i5. Model i5-2400 taktowany zegarem 3200 MHz jest czysto teoretycznie (ze względu na różnicę w częstotliwości) wolniejszy od Core i5-2500K @ 4000 MHz o 25%. W teście różnica między tymi procesorami wynosi 23,2%, więc bardzo blisko procentowej różnicy w częstotliwości. Widać też wyraźnie, że gra korzysta z czterech rdzeni, ale HT nie zapewnia już istotnej poprawy osiągów.

Złe miejsce testowe

Jest to tak naprawdę kluczowa kwestia w testach zarówno kart graficznych, jak i procesorów. Dobór miejsca powinien w obu przypadkach być inny. Jeśli tester popełnił tutaj błąd, to nawet jeśli przedstawił wyniki wszystkich niezbędnych procesorów (przypadek opisany na wcześniejszej stronie), to i tak niczego się nie dowiemy.

Dłuższa analiza powyższego wykresu nie ma sensu – wyniki są niemal całkowicie zależne od wydajności karty graficznej. Można odnieść wrażenie, że procesor za mniej więcej 300 zł („Procesor X”) jest niemal tak samo szybki jak Core i7 za cztery razy większą kwotę. Obserwujemy podobne relacje jak w opisanym na poprzedniej stronie przypadku w Wiedźminie 2. Ktoś powie: trzeba zastosować niższą rozdzielczość! Można, ale nie jest to konieczne:

Jak widzimy, Core i5-2500K @ 4 GHz, który jest o 25% szybciej taktowany od Core i5-2400 (3200 MHz), zapewnia wydajność wyższą o 22% – ponownie blisko ideału.

Użyliśmy tej samej rozdzielczości, tej samej karty graficznej oraz tych samych ustawień, a mimo to różnice między procesorami są bardzo wyraźne.

Ktoś zapyta: a po co w ogóle wykazywać różnice między procesorami, jeśli w grze ich nie zaobserwujemy? Szybki rzut oka na wykresy z wydajnością „Procesora X” w Maksie Paynie 3 oraz Wiedźminie:

Max Payne 3:

• miejsce „graficzne” – 99,4 kl./s,
• miejsce „procesorowe” – 42,9 kl./s.

Wiedźmin 2:

• miejsce „graficzne” – 89,9 kl./s,
• miejsce „procesorowe” – 43 kl./s.

Zwykle jest tak, że w momentach krytycznych z punktu widzenia przejścia etapu gry, gdy np. mamy do pokonania wielu przeciwników, odpowiedni poziom płynności jest konieczny. Jest to szczególnie widoczne w wielu grach sieciowych typu Battlefield, czy Call of Duty. Takie miejsca są zwykle właśnie zależne od procesora. Wiele gier jest bardzo wymagających z punktu widzenia procesora. Wystarczy popatrzeć choćby na ten wykres:

Trudno mówić o płynności, gdy na ekranie jest nie więcej niż 20 kl./s.

Warto wspomnieć o tym, że wybór miejsca testowego jest istotny dla pokazania realnego zapotrzebowania na moc procesora w czasie gry. Wykres, który przedstawia wyniki oscylujące w okolicach 100 kl./s, ma zdecydowanie mniejszą wartość od tego, na którym procesory osiągają około 20–30 kl./s. Przykład: lubimy grać zarówno w StarCrafta 2, jak i DiRT i zastanawiamy się, czy wymienić wysłużony już Core 2 Quad Q6600 na Pentium G860. W DiRT procesory te uzyskują taką samą wydajność i zapewniają około 40 kl./s. Okazuje się jednak, że w StarCrafcie Pentium G860 osiągnął 32 kl./s, a Core 2 Quad Q6600 – zaledwie 18,2 kl./s. Tym samym porównywalna wydajność w DiRT na dobrą sprawę nie ma znaczenia, gdyż obydwa układy i tak zapewniają akceptowalną płynność. Co innego w StarCrafcie 2, w którego przy 32 kl./s da się grać, a przy 18 kl./s – raczej nie.

Wybór odpowiedniej karty graficznej oraz rozdzielczości

Na poprzednich stronach pokazaliśmy, jak powinien wyglądać dobór miejsca odpowiedniego do testów procesora. Zatrzymajmy się na chwilę przy tym zagadnieniu. Wiele razy na forum lub w komentarzach pojawiała się dyskusja o tym, w jakiej rozdzielczości powinno się to robić. Istnieją dwa obozy: pierwszy twierdzi, że testy powinny odbywać się w rozdzielczości, w której się gra, drugi zaś utrzymuje, że odpowiednia będzie niska rozdzielczość, i to po zmniejszeniu szczegółowości obrazu. Kto naszym zdaniem ma rację? Spójrzmy najpierw na wykres z wynikami, które w Assassin’s Creed osiągnął Radeon HD 7970 we współpracy z wybranymi do tego testu procesorami:

Każdy z czytających już w tym momencie powinien rozumieć powyższy wykres. Jest to prawie idealne miejsce testowe, w którym wydajność zależy niemal wyłącznie od wydajności procesorów. Dlaczego? Bez względu na rozdzielczość wszystkie procesory, w tym te najszybsze, osiągają praktycznie ten sam wynik. Spór powinien być więc rozwiązany: w przypadku gdy odpowiednio dobrano miejsce testowe, wszystkie procesory zapewnią tyle samo klatek na sekundę niezależnie od rozdzielczości.

Jest jeszcze drugie zagadnienie, które pojawia się przy testach tanich procesorów, jak i tanich kart graficznych. Najczęściej jest tak, że redakcja ma jedną platformę do testowania kart (istotne są tu parametry procesora), tak samo do oceny procesorów wykorzystuje się jedną kartę graficzną. W obydwu przypadkach jest to z reguły najszybszy dostępny sprzęt. Karty zwykle testuje się w konfiguracji z Core i7, najlepiej podkręconym, a wydajność procesorów mierzy z użyciem czołowego modelu AMD lub Nvidii. Także my w testach CPU, niezależnie od ich wydajności, stosujemy jedną kartę: Radeona HD 7970 firmy Sapphire. Ale czy zasadne jest ocenianie układów za 300 zł w połączeniu z kartą za 2 tys. zł? Przeprowadziliśmy ten sam test co wyżej, ale w konfiguracji z kartą graficzną z niższej półki, Radeonem HD 7850, również Sapphire'a.

Cóż… wyniki są niemalże identyczne, a tym samym – relacje między układami. Core i5-2500K @ 4 GHz jest szybszy od „Procesora X” o 63,2% w przypadku Radeona HD 7970 oraz o 61,7% w przypadku Radeona HD 7850 – to w zasadzie żadna różnica. To chyba wyjaśnia, dlaczego w teście tańszych procesorów napisaliśmy, że użyliśmy dwóch kart o różnej wydajności :)

Wnioski?

Dobrze dobrane miejsce testowe ukaże różnice między procesorami niezależnie od wybranej rozdzielczości. Co ważne, wyniki w niskiej rozdzielczości nie są w żadnym razie gorsze od tych w wysokiej. Ważne jest jednak to, by stosować maksymalne ustawienia graficzne, te bowiem mają wpływ na obciążenie nie tylko karty graficznej, ale i procesora. Użycie minimalnych ustawień szczegółowości obrazu i niskiej rozdzielczości świadczy raczej o niedoskonałości procedury. Jeśli miejsce testowe będzie niemal w zupełności zależne od wydajności karty, to zastosowanie nawet najszybszego układu graficznego, jak i niskiej rozdzielczości nie pomoże ukazać różnic między procesorami. Doskonale to widać na poniższym wykresie z wynikami w grze Crysis:

Oczywiście, nie we wszystkich grach da się przygotować miejsca takie jak nasze w grze Assassin’s Creed. W Crysis 2 czy Metro 2033 wydajność sprzętu mierzymy w dwóch rozdzielczościach właśnie dlatego, że nie zdołaliśmy znaleźć miejsca w pełni nadającego się do testowania procesorów. Nie było w nich możliwe przygotowanie próby, która nie byłaby wrażliwa na wydajność układu graficznego i zarazem dałaby się przeprowadzić raz za razem z dokładnością do choćby 1%.

Pozostańmy jeszcze przez chwilę w temacie doboru miejsc w grze. Poniżej zamieszczamy nieco rozszerzony test z Wiedźmina 2, który przygotowaliśmy w taki sposób, by w części był zależny od karty graficznej, a w części – od procesora. Oto rezultat porównania Core i5-2500K @ 4 GHz z najwolniejszym w zestawieniu (jak już wiecie) „Procesorem X”.

Na powyższym wykresie wyraźnie widać, jak duży wpływ na relacje między procesorami ma dobór miejsca testowego – wracamy do rozważań zamieszczonych na pierwszej stronie. Odpowiednio wybierając moment pomiaru – między 1. a 14. sekundą – możemy wykazać, że „Procesor X” jest tak samo szybki jak podkręcony Core i5-2500K, a gdy pomiar jest przeprowadzany między 15. a 22. sekundą – że ten tajemniczy układ jest wolniejszy o mniej więcej 40%. Jedynym sposobem, aby określić, czy dany test jest zależny od wydajności karty graficznej czy procesora, a tym samym ustalić jego przydatność, jest obliczenie różnicy między dwoma układami wykorzystującymi tę samą architekturę, ale różniącymi się częstotliwością. Ponownie wracamy do wniosków z pierwszej strony.

Mała powtarzalność testu, czyli duża niepewność pomiarowa

O niepewności pomiarowej, czyli skali dokładności wyniku badania, wspominaliśmy w tym artykule już kilka razy. Przygotowanie odpowiednio powtarzalnego testu często jest bardzo trudne. Nawet trzykrotne powtórzenie go na niewiele się zda, jeśli niepewność pomiarowa będzie wynosiła na przykład 5%. Może się wydawać, że to niedużo, ale wystarczy sobie uświadomić, że to nawet trochę więcej niż między 4500 MHz a 4300 MHz, aby dojść do wniosku, że taka powtarzalność jest zdecydowanie za mała.

W swoich testach przyjęliśmy zasadę, że niepewność pomiarowa powinna być mniejsza niż 1%, a w wyjątkowych sytuacjach – niż 2%. Oto jak wygląda wykres z wynikami testu, do którego celowo się nie przyłożyliśmy:

Nawet jeśli w tym drugim przypadku odrzucimy najniższy i najwyższy wynik, to i tak niepewność powyżej 2% nie daje gwarancji, że poprawnie uda się zbadać różnicę między procesorem taktowanym zegarem 4500 MHz a tym o częstotliwości działania 4400 MHz. Niby oczywiste, a i tak w sieci pojawiają się tego typu kwiatki.

Sapphire Radeon HD 7970 Vapor-X – karta graficzna użyta do testu

Gdy w lipcu rozpoczęliśmy przygotowania do zmiany procedury testowania procesorów, musieliśmy wybrać odpowiednią kartę graficzną. Układy dwuprocesorowe odpadały z powodu bardzo małej popularności oraz tego, że wciąż w wielu przypadkach sprawiają one problemy. Dodatkowym argumentem było to, że systemy składające się z dwóch kart/układów graficznych w większym stopniu obciążają procesor, więc wyniki nie byłyby reprezentatywne dla posiadaczy tylko jednej karty, czyli zdecydowanie większej grupy.

Dlaczego AMD Radeon? Odpowiedź jest dość prosta: wyniki procesorów dwurdzeniowych (i nie tylko) w konfiguracjach z GeForce'ami są sztucznie zaniżone. Sterownik ForceWare w specyficzny sposób obciąża procesor, powodując, że na przykład Phenom II X2 osiąga mniej niż 50% wyniku uzyskanego przez identycznie taktowany model Phenoma II X4. Kto uwierzy, że procesor czterordzeniowy jest przeszło dwa razy szybszy od analogicznego dwurdzeniowego? Taka sytuacja jest niemożliwa.

Rzecz jasna, temat ten wymaga osobnego, dużo obszerniejszego omówienia. Użytkowników kart Nvidia GeForce jest bardzo dużo i powinni oni wiedzieć, czego mogą się spodziewać po wydajności swojego komputera, jeśli wybiorą taki, a nie inny procesor.

Kartę graficzną Sapphire Radeon HD 7970 Vapor-X wybraliśmy z jednego powodu: wykorzystuje obecnie najwydajniejszy układ AMD oraz był to jedyny przetestowany przez nas model, który był zdolny do pracy przez bardzo długi czas (oczywiście całkowicie stabilnie i bez zmiany układu chłodzenia) w pełnym obciążeniu przy taktowaniu: rdzeń – 1200 MHz, pamięć GDDR5 – 1700 MHz.

Końcowe wnioski

Mamy nadzieję, że UWAŻNA lektura niniejszej publikacji rozwieje przynajmniej większość wątpliwości dotyczących metod testowania procesorów, i to nie tylko w grach. Podsumujmy całość:

1. Należy szukać takich testów procesorów, w których na wykresach zamieszczone są przynajmniej dwa układy z tej samej rodziny, najlepiej różniące się jedynie taktowaniem rdzeni. Pozwala to ocenić, czy dany test nie jest przypadkiem zależny od karty graficznej. Jeśli tak, to niewykluczone, że procesor za 300 zł może być równie szybki jak ten czterokrotnie droższy, co niekoniecznie ma przełożenie na rzeczywiste relacje między produktami zarówno w tej grze, jak i w innych.
2. Testy procesorów w niskiej rozdzielczości są tyle samo warte co te wykonane w wysokiej rozdzielczości. Jeśli miejsce testowe jest dobrze przygotowane, rezultaty powinny być identyczne lub bardzo zbliżone. Należy przy tym omijać testy, które przedstawiają wyniki uzyskane w minimalnych ustawieniach szczegółowości obrazu (z reguły na takim wykresie liczba klatek na sekundę jest bardzo duża, może sięgnąć nawet 200). Dobre miejsce pozwala też uniezależnić wynik od wybranej karty graficznej. Dlatego nie ma znaczenia, czy do testu został użyty na przykład Radeon HD 7970 czy Radeon HD 7850 – osiągi będą podobne, a więc i relacje między procesorami.
3. Różne gry mają różne wymagania. Do uzyskania 50 kl./s w DiRT wystarczy dużo słabszy sprzęt niż w przypadku na przykład gry Shogun 2 Total War. Dla kogoś, kto gra w obydwie, nie będzie miało większego znaczenia to, że w pierwszej jeden procesor zapewnia 60 kl./s, a drugi – 50 kl./s. Będzie natomiast miało znaczenie to, że w Shogunie drugi osiągnął 30 kl./s, a pierwszy – zaledwie 23 kl./s. Tym samym należy pomijać testy i gry – lub przynajmniej przykładać do nich mniejszą wagę – w których procesory zapewniają akceptowalną płynność, na przykład 50 kl./s.
4. Niska powtarzalność prób to, niestety, wciąż dość popularny grzech osób testujących sprzęt komputerowy. Jeśli na przykład Core i5-2400 osiąga lepszy wynik niż Core i5-2500K, to znaczy, że przyjęta w danej grze metoda jest obarczona niepewnością pomiarową zbyt dużą, by się nim sugerować.
5. Ponadto w razie wątpliwości lub pytań zawsze warto zwrócić się do autora artykułu w komentarzach lub do niego napisać.

A tajemniczym „Procesorem X” jest… No właśnie, jak sądzicie? :)

„Ograniczanie karty graficznej przez procesor”

Gdzieś między wierszami poruszyliśmy zagadnienie „ograniczania karty graficznej przez procesor”. Nie czas i miejsce, aby obszerniej rozwinąć ten temat – to postaramy się zrobić przy innej okazji – warto jednak przyjrzeć się dokładnie wykresom zamieszczonym na stronie 3. Teraz należy sobie odpowiedzieć na kilka pytań:

1. Czy Core i3-2130 będzie ograniczał Radeona HD 7970? W końcu niezależnie od rozdzielczości mamy tyle samo klatek na sekundę...
2. Czy Core i5-2500K podkręcony do 4 GHz ogranicza Radeona HD 7850? Bardzo szybki procesor i karta graficzna ze średniego segmentu, a mimo to ta druga osiągała takie same wyniki jak znacznie szybszy Radeon HD 7970...
3. Przyjrzyjcie się ostatniemu wykresowi liniowemu zamieszczonemu na stronie z wynikami w Wiedźminie i dobrze się zastanówcie, czy najwolniejszy procesor w teście, „X”, ogranicza Radeona HD 7970 czy nie? A może ogranicza go Core i5-2500K @ 4 GHz?

Sprzęt do testów dostarczył: