Методика измерения производительности в играх iXBT.com образца 2016 года

Совсем недавно мы обновили нашу методику тестирования на основе реальных неигровых приложений. А теперь рассмотрим обновленную методику измерения игровой производительности, которая претерпела существенные изменения в сравнении с методикой iXBT Game Benchmark 2015.

Набор игр и игровых бенчмарков, используемых для тестирования

В сравнении с предыдущим вариантом методики измерения производительности в играх, в обновленном варианте, во-первых, расширился набор используемых игр, во-вторых, некоторые игры мы убрали из теста, а, в-третьих, если ранее в используемом тестовом скрипте для каждой игры предусматривалась возможность запуска только в двух разрешениях, то в новой версии добавлено еще одно разрешение и все игры могут запускаться при разрешениях 1366×768, 1920×1080 и 2560×1440.

Как и прежде, все игры в нашем бенчмарке запускаются в двух режимах настройки игр: на максимальное и минимальное качество. Кроме того, как и в предыдущей версии нашего игрового бенчмарка, предусмотрена возможность задавать количество прогонов каждого теста. После каждого прогона теста производится перезагрузка системы и выдерживается пауза. По результатам всех прогонов рассчитывается среднеарифметический результат (среднее значение FPS) и погрешность результата.

Подчеркнем, что данная методика не заменяет собой методику тестирования дискретных видеокарт и будет использоваться нами для тестирования ноутбуков, компьютеров, моноблоков, а также процессоров. Данная методика совместима только с 64-битной версией операционной системы Windows 10.

В предыдущей версии методики (iXBT Game Benchmark 2015) использовалось десять тестов (восемь игр и два игровых бенчмарка):

  • Aliens vs Predator (D3D11 Benchmark v.1.03);
  • World of Tanks 0.9.5;
  • Grid 2;
  • Metro: LL Redux;
  • Metro: 2033 Redux;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider GOTY Edition (v.1.01.748.0);
  • Sleeping Dogs (v. 1.0);
  • Sniper Elite V2.

В нашей новой методике мы отказались от бенчмарка Aliens vs Predator D3D11 Benchmark v.1.03 и игры Metro: 2033 Redux. Дело в том, что бенчмарк Aliens vs Predator D3D11 Benchmark v.1.03, как выяснилось, не поддерживает разрешение 2560×1440. Что касается теста на основе игры Metro: 2033 Redux, то, как нам кажется, при наличии теста Metro: LL Redux в нем просто нет смысла, поскольку тесты Metro: 2033 Redux и Metro: LL Redux всегда демонстрируют одинаковые результаты.

Тест на основе игры World of Tanks был полностью обновлен. Если ранее использовалась версия игры 0.9.5, то теперь используется версия 0.9.12 и, соответственно, записан другой бой.

Кроме того, были добавлены тесты на основе игр World of Warships 0.5.0.3, F1 2015, Middle-earth: Shadow of Mordor, Batman: Arkham Origins и BioShock Infinite. Таким образом, всего в нашем новом игровом бенчмарке используется 13 тестов:

  • World of Tanks 0.9.12;
  • World of Warships 0.5.0.3;
  • Grid 2;
  • F1 2015 (v. 1.0.19.1175);
  • Metro: LL Redux;
  • Middle-earth: Shadow of Mordor;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider GOTY Edition (v. 1.01.748.0);
  • Sleeping Dogs (v. 1.0);
  • Sniper Elite V2;
  • Batman: Arkham Origins (v. 1.12);
  • BioShock Infinite (v.1.1.22).

Такое большое количество используемых тестов, в одной стороны, вроде как и хорошо. Но есть и обратная сторона медали. Дистрибутивы всех этих игр в совокупности имеют размер 215 ГБ, а чтобы установить все эти игры потребуется накопитель размером не менее 480 ГБ. И это при условии, что а установка игр производится с внешнего накопителя (без копирования дистрибутивов на системный накопитель). Причем, сам процесс установки всех игр очень получается очень длительным и занимает как минимум полдня.

Понятно, что далеко не каждый ноутбук или моноблоки имеет накопитель размером не менее 480 ГБ и в этом заключается большая проблема при проведении тестирования. Можно, конечно, устанавливать игры порциями по несколько штук (сколько вмещается), потом производить тестирование на основе установленных игр, удалять их и устанавливать следующую порцию игр. Однако, это, конечно, очень неудобно и сильно затягивает весь процесс тестирования, поскольку делает его лишь частично автоматизированным.

Именно поэтому, мы решили применить модульный подход. То есть, вовсе необязательно, что тестировании всех систем (ноутбуков, моноблоков и т. д.) будет использоваться весь набор игровых тестов. Да и нет никакой необходимости использовать такое количество тестов при тестировании, к примеру, ноутбука без дискретной графической карты, который и не позиционируется как игровой. Ну а поскольку во всех тестах результатом является среднее значение FPS, которое само по себе показательно, то есть, нет необходимости в вычислении интегрального показателя производительности с привлечением референсных результатов, совсем необязательно при тестировании использовать весь набор игр.

Далее мы рассмотрим настройки игр в режимах минимального и максимального качества.

Настройки игр в режимах минимального и максимального качества

World of Tanks 0.9.12

Как известно, в игре World of Tanks нет встроенного бенчмарка, однако, есть возможность записывать геймплей (бой) и потом воспроизводить его. Поэтому, в нашем тестовом бенчмарке данная игра используется одновременно с утилитой FRAPS для определения среднего и минимального значения FPS. Ну а запись танкового сражения была сделана специально для нашего теста поклонниками этой игры.

Настройки игры на максимальное и минимальное качество приведены далее.

 максимальное качествоминимальное качество
Качество графикиПользовательскоеПользовательское
Качество текстурМаксимумНизко
Качество освещенияМаксимумВыключено
Качество тенейМаксимумВыключено
Качество доп. эффектовМаксимумВыключено
Доп. эффекты в снайперском режимеВысокоВыключено
Количество растительностиМаксимумВыключено
ПостобработкаМаксимумВыключено
Трава в снайперском режимеДаНет
Эффекты из-под гусеницДаНет
Качество ландшафтаМаксимумМинимум
Качество водыМаксимумНизко
Качество деталейМаксимумВыключено
Детализация объектовМаксимумНизко
Детализация деревьевМаксимумНизко
Дальность прорисовкиМаксимумНизко
Качество «размытия» в движенииВысокоВыключено
Прозрачность листвыДаНет
Динамическое изменение качестваНетНет
Следы гусеницДаНет

World of Warships 0.5.0.3

В игре World of Warships также нет встроенного бенчмарка, однако, есть возможность записывать геймплей морского боя и потом воспроизводить его. Поэтому, в нашем тестовом бенчмарке данная игра используется одновременно с утилитой FRAPS для определения среднего и минимального значения FPS. Запись морского боя была сделана специально для нашего теста поклонниками этой игры.

Настройки игры на максимальное и минимальное качество следующие:


Grid 2

Игра Grid 2 имеет встроенный бенчмарк, который можно запускать с различными пресетами, задающими качество отображения.

Отметим, что игра Grid 2 может запускаться в двух режимах: с поддержкой команд AVX и без (используются различные файлы для запуска игры). В нашем случае используется режим с поддержкой AVX (файл Grid 2_avx.exe).

Настройку игры на режимы максимального и минимального качества можно производить через конфигурационный файл hardware_settings_config.xml (он находится в папке DocumentsMy GamesGrid 2hardwaresettings), а для запуска встроенного бенчмарка используется команда Grid 2_avx.exe -benchmark example_benchmark.xml.

Мы используем следующие режимы настроек на максимальное и минимальное качество:

 максимальное качествоминимальное качество
Качество графикидада
Сглаживание 8xMSAAВыкл
Соотношение сторонАвтоАвто
Частот обновления6060
Вертикальная синхронизацияВыклВыкл
Ночное освещениеВысокоНизко
ТениУльтраУльтра низко
Продвинутый туманВклВыкл
ЧастицыУльтраНизко
ТолпаУльтраВыкл
ТканьВысокоВыкл
Модель затененияУльтраНизко
Мягкое затенениеВклВыкл
Покрытие землиВысокоВыкл
Детали автомобиляВысокоНизко
ДеревьяУльтраСредне
ОбъектыУльтраСредне
Отражение автомобилейВысокоНизко
ВодаВысокоНизко
ПостобработкаВысокоНизко
Следы от шинВклВыкл
Улучшенное освещениеВклВыкл
Общее освещениеВклВыкл
Анизотропная фильтрацияУльтраВыкл

Результаты тестирования сохраняются в xml-файле (в папке DocumentsMy GamesGrid 2ehchmarks).

Отметим, что бенчмарк в игре Grid 2 имеет одну неприятную особенность или, если точнее, ошибку. Результат теста, выдаваемый бенчмарком, никогда не бывает ниже 12,5 FPS. То есть, даже если реальная скорость ниже 12,5 FPS, в чем можно убедиться, запустив FRAPS, в файл результата записывается значение 12,5 FPS. Фактически, это означает, что если в ходе тестирования вы получили значение 12,5 FPS, то это еще ничего не означает. Реальный результат будет ниже. Для систем с мощной графикой данная ошибка бенчмарка не является проблемой, поскольку даже при максимальном разрешении и с настройками на максимальное качество результат получается выше 12,5 FPS. А вот для систем с процессорным графическим ядром это может оказаться проблемой. Поэтому, в бенчмарке Grid 2 мы поступаем следующим образом. Параллельно с запуском теста запускается утилита FRAPS. Если результат бенчмарка оказывается выше 12,5 FPS, то используются показания встроенного бенчмарка. В противном случае используются показания утилиты FRAPS.

F1 2015

Игра F1 2015 очень похожа на Grid 2 и также имеет встроенный бенчмарк.

Настройку игры на режимы максимального и минимального качества можно производить через конфигурационный файл hardware_settings_config.xml (он находится в папке DocumentsMy GamesF1 2015hardwaresettings), а для запуска встроенного бенчмарка используется команда F1_2015.exe -benchmark example_benchmark.xml.

В режиме максимального качества используются следующие настройки:


В режиме минимального качества используются следующие настройки:


Результаты тестирования сохраняются в xml-файле (в папке DocumentsMy GamesF1 2015).

Metro: LL Redux

Как и в предыдущем варианте нашей методике мы используем игру Metro: Last Light (LL) Redux.

Эта игра имеет встроенный бенчмарк METRO Redux Benchmark v3.00 x64, который мы и использовали для тестирования.

Настройки бенчмарка производится в отдельном диалоговом окне перед его запуском. Настройки бенчмарка Metro: LL Redux на режимы максимального и минимального качества приведены следующие:


Middle-earth: Shadow of Mordor

В игре Middle-earth: Shadow of Mordor имеется встроенный бенчмарк, который запускается только из самой игры (нет возможности запуска бенчмарка из командной строки).

Настройка бенчмарка на максимальное и минимальное качество, а также установка разрешения производится в файлах render.cfg и settings.cfg

Настройки игры, используемые для режимов минимального и максимального качества, приведены далее.


Hitman: Absolution (1.0.447.0)

Игра Hitman: Absolution имеет встроенный бенчмарк, который мы и использовали в нашем тестовом скрипте. Запуск бенчмарка возможен из командной строки. Настройка теста на максимальное и минимальное качество производится в конфигурационном ini-файле, который указывается в качестве параметра в команде запуска бенчмарка. Кроме того, возможна настройка игры и в отдельном диалоговом окне настроек. В режиме максимального качества используются следующие настройки:


В режиме минимального качества используются следующие настройки:


Thief (1.6 build 4158.14)

В игре Thief (используется 64-битная версия игры) также имеется встроенный бенчмарк, который может запускаться из командной строки, а настройку бенчмарка на максимальное и минимальное качество можно производить через конфигурационный файл setting.txt (этот файл указывается в качестве параметра в команде запуска бенчмарка) или через диалоговое окно настроек. Настройки бенчмарка Thief на режимы максимального и минимального качества приведены на принт-скринах:


Tomb Raider GOTY Edition (v.1.01.748.0)

В игре Tomb Raider имеется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества производятся через конфигурационной ini-файл, который указывается в качестве параметра в команде запуска бенчмарка. Кроме того, можно производить настройку качества и в самой игре.

Настройки игры Tomb Raider на режим максимального качества следующие:


Настройки игры Tomb Raider на режим минимального качества следующие:


Sleeping Dogs (v.1.0)

В игре Sleeping Dogs при тестировании используется встроенный бенчмарк, который запускается из командной строки. Настройки игры на режимы максимального и минимального качества производятся путем редактирования конфигурационного файла настроек DisplaySettings.xml или путем установки соответствующих параметров в самой игре. Настройки игры на режимы минимального и максимального качества приведены в таблице и на принт-скринах:

 максимальное качествоминимальное качество
Enable quality anti-aliasingExtremeNormal
Shadow resolutionHighOff
Screen space ambient occlusionHighNormal
Enable V-SyncOffOff
Enable quality motion blurHighOff
World densityExtremeLow
FPS limiterOffOff
Low resolution buffersOffOff

Sniper Elite V2

Мы используем отдельный игровой бенчмарк, сделанный для игры Sniper Elite V2. Настройки данного теста на минимальное и максимальное качество производятся в отдельном ini-файле. Мы используем следующие настройки:

 максимальное качествоминимальное качество
MotionBlurOnOff
AmbientOcclusionOnOff
VSyncOffOff
ReduceMouseLagOffOff
TextureDetailUltraLow
ShadowDetailUltraLow
AntiAliasingHighOff
DrawDistanceUltraLow
AnisotropicFiltering16Off
ComputeShaderOnOff
AdvancedShadowsHighOff
Supersampling 4.0xOff

Batman: Arkham Origins (v.1.12)

Игра BioShock Infinite имеет встроенный бенчмарк, который запускается из командной строки (команда «BatmanOrigins.exe benchmark»). Настройка игры на максимальное и минимальное качество, задается в конфигурационном файле GFXSettings.BatmanArkhamOrigins.xml или же в самой игре. Мы используем следующие настройки для максимального и минимального качества.


BioShock Infinite (v.1.1.22)

Игра BioShock Infinite имеет встроенный бенчмарк, который запускается из командной строки. Причем, настройка игры на максимальное и минимальное качество, а также разрешение тоже задается в командной строке в качестве параметров. Для максимального качества мы используем пресет UltraDX11_DDOF, а для минимального качества используется пресет VeryLow.

Соответственно, для запуска теста в режиме максимального качества используется командная строка: «С:Program Files (x86)Bioshock InfiniteBinariesWin32enchmark.bat UltraDX11_DDOF -unattended -resx=2560 -resy=1440» (в данном примере используется разрешение 2560×1440).

Для запуска теста в режиме минимального качества используется командная строка: «С:Program Files (x86)Bioshock InfiniteBinariesWin32enchmark.bat VeryLow -unattended -resx=2560 -resy=1440».

Результаты теста сохраняются в csv-файле.

Погрешность измерения результатов тестирования

В любом тесте есть свой разброс результатов, который определяет погрешность измерения получаемого результата. В играх, как показывает практика, разброс результатов очень невелик и для получения достаточно достоверного результата вполне достаточно трех прогонов теста.

Аналогично тому, как это делается в методике измерения производительности на основе реальных приложений, в методике измерения производительности в играх рассчитывается среднеарифметический результат и погрешность измерения для доверительного интервала 0,95 (для расчета используется коэффициент Стьюдента). Разница лишь в том, что в данном случае используется три измерения вместо пяти.

В данном случае (для трех измерений и доверительного интервала 0,95) коэффициент Стьюдента равен 4,302.

Говоря о вычислении погрешности результата измерений, необходимо кроме случайной погрешности (погрешность, возникающая за счет получения различных результатов измерения) учитывать также и систематическую ошибку измерения (то, что называют инструментальной погрешностью). Дело в том, что во всех игровых тестах результат определяется только с определенной точностью. Причем, эта точность различна в различных тестах. К примеру, в тесте Batman Arkham Origins результат записывается с точностью до сотых долей FPS (например, 9,88 FPS), а в тесте SniperEliteV2 — до десятых долей (например, 4,7 FPS). Возможна ситуация, когда в трех прогонах будет получен одинаковый результат, но это не означает, что нет погрешности. Если, например, три раза получается результат 4,7 FPS, то это означает, что погрешность определяется сотыми значениями FPS и составляет 0,05 FPS.

Если тест подразумевает наличие систематической ошибки, то абсолютная погрешность результата рассчитывается по формуле:

В нашем случае систематическую ошибку за счет округления результата имеют следующие игровые тесты:

Игровой тест Систематическая ошибка
Metro: LL Redux0,005 FPS
Middle-earth: Shadow of Mordor0,005 FPS
Thief0,05 FPS
Tomb Raider GOTY Edition0,05 FPS
Sniper Elite V20,05 FPS
Batman: Arkham Origins0,005 FPS

В остальных тестах систематическая ошибка за счет округления результата получается меньше и ее нет смысла учитывать.

Запись результатов тестирования

Поскольку результаты в нашем тесте рассчитываются с погрешностью, то огласим также правила записи результатов. Собственно, правила записи результатов с погрешностью хорошо известны и мы лишь напомним их. Речь идет о правилах округления погрешности и результата.

Итак, погрешность записывается с одной или двумя значащими цифрами. Напомним, что значащие цифры данного числа — это все цифры от первой слева, не равной нулю, до последней справа. При этом нули, следующие из множителя 10n не учитывают.

Если первая значащая цифра погрешности измерения единица или двойка, то после округления оставляют две значащие цифры. Если же первая значащая цифра тройка и более, то оставляют одну значащую цифру.

Далее округляется сам результат, причем его последняя значащая цифра должна находиться на той же позиции (в том де числовом разряде), что и последняя значащая цифра погрешности.

Например, если получен результат 345,567 и погрешность 3,453, то правильная запись такого результата с погрешностью будет 346±3. А если для этого результата погрешность составляет 0,213, то правильная запись результата с погрешностью будет 345,57±0,21.

Для результата 309,47 с погрешностью 20,56 правильной является запись 309±21. Если же для данного результата получается погрешность 31,23, то, формально, правильной является запись (3,1±0,3) ·102 (оставляем лишь одну значащую цифру в погрешности). Однако, такая запись крайне неудобна  для табличной формы, поэтому, подобный результат мы будем записывать в таблицах в виде 309±30 (хотя, еще раз отметим, это не совсем корректно).

Примеры результатов тестирования

В заключение, продемонстрируем три примера результатов тестирования в игровых тестах: c использованием процессорного графического ядра и с использованием двух дискретных видеокарт.

Стенд для тестирования имел следующую конфигурацию:

ПроцессорIntel Core i7-6700K
Материнская платаAsus Maximus VIII Extreme
ВидеокартаMSI Radeon R7 260X
Asus Radeon R9 280
Оперативная память16 ГБ DDR4-2133 (2 канала)
Накопитель SSD Seagate ST480FN0021 (488 ГБ)
Операционная системаWindows 10 Pro (64-битная)

Соответственно, в первом варианте использовалось процессорное графическое ядро Intel HD Graphics 530 (драйвер 20.19.15.4300). Во втором варианте мы использовали видеокарту MSI Radeon R7 260X, а в третьем варианте — видеокарту Asus Radeon R9 280. Для дискретных видеокарт использовался драйвер AMD Crimson Edition 16.1.

Тестирование проводилось для трех разрешений (2560×1440, 1920×1080, 1366×768) и в двух режимах настройки игр.

Результат тестирования для разрешения 2560×1440 при настройках на максимальное качество представлен далее.

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 9,416±0,02726,48±0,1349,56±0,20
World of Warships 0.5.0.313,01±0,1337,40±0,0967,04±0,06
Grid 27,68±0,0438,3±0,570,24±0,14
F1 20157,18±0,0426,47±0,1445,83±0,08
Metro: LL Redux3,07±0,048,06±0,0518,15±0,09
Middle-earth: Shadow of Mordor5,45±0,0518,3±0,735,51±0,10
Hitman: Absolution2,262±0,02211,71±0,0523,48±0,13
Thief 4,8±0,0518,47±0,1535,17±0,15
Tomb Raider GOTY Edition2,5±0,0510,03±0,1520,27±0,15
Sleeping Dogs5,020±0,01110,23±0,1421,44±0,17
Sniper Elite V25,00±0,0514,03±1,1517,27±0,15
Batman: Arkham Origins9,39±0,1337,2±0,969,5±1,0
BioShock Infinite5,71±0,0625,413±0,02950,11±0,05

Результат тестирования для разрешения 2560×1440 при настройках на минимальное качество представлен далее.

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 54,69±0,15116,89±0,06116,77±0,07
World of Warships 0.5.0.333,04±0,2573,451±0,02973,56±0,14
Grid 237,6±0,8140±4240±8
F1 201515,91±0,0555,07±0,1591,9±0,4
Metro: LL Redux14,25±0,1345,5±0,696,1±0,6
Middle-earth: Shadow of Mordor15,6±0,153,14±0,06102,0±0,4
Hitman: Absolution16,78±0,1459,2±0,6105,3±0,8
Thief 10,10±0,0537,60±0,2567,8±0,4
Tomb Raider GOTY Edition19,40±0,0575,2±0,9156,6±2,5
Sleeping Dogs12,37±0,0847,5±0,586,9±0,4
Sniper Elite V217,6±1,356,6±0,5120,6±1,6
Batman: Arkham Origins19,98±0,0788,8±1,8191,3±0,6
BioShock Infinite24,15±0,1485,44±0,08169,2±0,4

Приведем также результаты тестирования для разрешения 2560×1440 на диаграммах:


Результат тестирования для разрешения 1920×1080 при настройках на максимальное качество следующий:

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 15,29±0,1943,0±0,375,55±0,27
World of Warships 0.5.0.319,87±0,1658,02±0,0873,50±0,13
Grid 211,10±0,1454,6±0,597,0±2,4
F1 201510,87±0,0939,67±0,1864,4±0,6
Metro: LL Redux5,18±0,0415,00±0,0531,70±0,10
Middle-earth: Shadow of Mordor8,35±0,0427,3±0,649,25±0,09
Hitman: Absolution3,762±0,02518,49±0,2135,58±0,12
Thief 7,60±0,0528,27±0,2950,3±0,5
Tomb Raider GOTY Edition4,20±0,0516,63±0,1532,9±0,8
Sleeping Dogs5,121±0,02217,87±0,2135,2±0,4
Sniper Elite V25,03±0,1514,00±0,0528,70±0,05
Batman: Arkham Origins15,75±0,1361,90±0,15102,5±0,7
BioShock Infinite9,41±0,0742,10±0,0578,88±0,10

Результат тестирования для разрешения 1920×1080 при настройках на минимальное качество следующий:

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 87,14±0,26116,83±0,09116,56±0,16
World of Warships 0.5.0.353,5±0,373,65±0,0573,559±0,022
Grid 259,3±1,4221±12242±4
F1 201525,1±0,485,5±1,0128,3±0,5
Metro: LL Redux23,14±0,1475,6±0,7146,7±1,2
Middle-earth: Shadow of Mordor23,400±0,02579,82±0,04141,0±0,4
Hitman: Absolution27,40±0,1794,8±0,9107,3±0,6
Thief 17,47±0,1558,3±0,594,07±0,15
Tomb Raider GOTY Edition43,57±0,15130,8±1,7258,6±0,4
Sleeping Dogs19,8±0,473,7±1,1124,1±1,5
Sniper Elite V228,7±0,2596,7±0,6190,5±0,8
Batman: Arkham Origins32,8±0,5151,0±0,6302,7±1,5
BioShock Infinite39,6±0,6140,4±0,8245,6±2,5

На диаграммах результаты тестирования для разрешения 1920×1080 выглядят так:


Результат тестирования для разрешения 1366×768 при настройках на максимальное качество следующий:

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 27,70±0,0672,8±0,495,75±0,15
World of Warships 0.5.0.332,2±0,473,56±0,0773,54±0,05
Grid 215,28±0,0475,4±1,4129,4±0,8
F1 201517,22±0,1961,0±0,390,3±0,4
Metro: LL Redux9,54±0,2130,01±0,0855,71±0,25
Middle-earth: Shadow of Mordor12,97±0,0839,3±2,266,8±0,3
Hitman: Absolution6,56±0,1329,9±0,553,69±0,23
Thief 12,00±0,0543,60±0,2571,3±0,4
Tomb Raider GOTY Edition7,20±0,0528,57±0,2953,4±0,4
Sleeping Dogs8,27±0,0732,5±0,560,0±0,3
Sniper Elite V26,00±0,0524,83±0,1549,8±0,4
Batman: Arkham Origins28,0±0,599,9±1,8150,6±0,6
BioShock Infinite16,51±0,0973,047±0,014121,5±0,3

Результат тестирования для разрешения 1366×768 при настройках на минимальное качество следующий:

Игровой тестРезультат, FPS
Intel HD Graphics 530MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 113,91±0,14116,4±0,9116,39±0,07
World of Warships 0.5.0.373,5±0,0873,67±0,0673,53±0,09
Grid 2105,4±2,7242±8244±4
F1 201540,98±0,15135±3144±0,5
Metro: LL Redux41,1±0,4132,7±0,8183,8±1,5
Middle-earth: Shadow of Mordor34,31±0,19117,85±0,21187,7±0,4
Hitman: Absolution46±4107,74±0,19107,3±0,5
Thief 28,93±0,1590,07±0,15108,9±0,4
Tomb Raider GOTY Edition81,5±2,5242,5±1,2446±7
Sleeping Dogs33,4±0,5115,1±1,0176,3±1,3
Sniper Elite V231,3±2,4168,4±0,4292,6±1,5
Batman: Arkham Origins58,4±0,3267±3390±10
BioShock Infinite69,9±0,3237±2297±3

И, для полноты картины, результаты тестирования для разрешения 1366×768 на диаграммах:


Еще раз отметим, что данные результаты тестирования мы привели лишь в качестве примера. Тем не менее, они наглядно демонстрируют разницу между дискретной графикой и процессорным графическим ядром. Более того, наглядно видно, что в таких играх, как World of Tanks 0.9.12 и World of Warships 0.5.0.3 при настройках на минимальное качество результат «упирается» в процессор, в результате чего и для процессорного графического ядра и для обеих дискретных видеокарт получается одинаковый результат (при разрешении 1366×768).

Заключение

В этой статье мы рассмотрели нашу новую методику измерения производительности на основе игр (бенчмарк iXBT Game Benchmark 2016). Этой методикой мы будем пользоваться как минимум на протяжении всего 2016 года, что позволит нам накопить базу результатов и сравнивать по производительности различные конфигурации компьютеров.




9 февраля 2016 Г.

iXBT.com 2016

iXBT.com 2016

. , iXBT Game Benchmark 2015.

,

, , -, , -, , , -, , 1366×768, 1920×1080 2560×1440.

, : . , , . . ( FPS) .

, , , , . 64- Windows 10.

(iXBT Game Benchmark 2015) ( ):

  • Aliens vs Predator (D3D11 Benchmark v.1.03);
  • World of Tanks 0.9.5;
  • Grid 2;
  • Metro: LL Redux;
  • Metro: 2033 Redux;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider GOTY Edition (v.1.01.748.0);
  • Sleeping Dogs (v. 1.0);
  • Sniper Elite V2.

Aliens vs Predator D3D11 Benchmark v.1.03 Metro: 2033 Redux. , Aliens vs Predator D3D11 Benchmark v.1.03, , 2560×1440. Metro: 2033 Redux, , , Metro: LL Redux , Metro: 2033 Redux Metro: LL Redux .

World of Tanks . 0.9.5, 0.9.12 , , .

, World of Warships 0.5.0.3, F1 2015, Middle-earth: Shadow of Mordor, Batman: Arkham Origins BioShock Infinite. , 13 :

  • World of Tanks 0.9.12;
  • World of Warships 0.5.0.3;
  • Grid 2;
  • F1 2015 (v. 1.0.19.1175);
  • Metro: LL Redux;
  • Middle-earth: Shadow of Mordor;
  • Hitman: Absolution (1.0.447.0);
  • Thief (1.6 build 4158.14);
  • Tomb Raider GOTY Edition (v. 1.01.748.0);
  • Sleeping Dogs (v. 1.0);
  • Sniper Elite V2;
  • Batman: Arkham Origins (v. 1.12);
  • BioShock Infinite (v.1.1.22).

, , . . 215 , 480 . , ( ). .

, 480 . , , ( ), , . , , , , .

. , (, . .) . , , , . FPS, , , .

.

World of Tanks 0.9.12

, World of Tanks , , () . , FRAPS FPS. .

.

 
.
.
-
«»

World of Warships 0.5.0.3

World of Warships , , . , FRAPS FPS. .

:


Grid 2

Grid 2 , , .

, Grid 2 : AVX ( ). AVX ( Grid 2_avx.exe).

hardware_settings_config.xml ( Documents\My Games\Grid 2\hardwaresettings), Grid 2_avx.exe -benchmark example_benchmark.xml.

:

 
8xMSAA
60 60

xml- ( Documents\My Games\Grid 2\behchmarks).

, Grid 2 , , . , , 12,5 FPS. 12,5 FPS, , FRAPS, 12,5 FPS. , , 12,5 FPS, . . , 12,5 FPS. . , Grid 2 . FRAPS. 12,5 FPS, . FRAPS.

F1 2015

F1 2015 Grid 2 .

hardware_settings_config.xml ( Documents\My Games\F1 2015\hardwaresettings), F1_2015.exe -benchmark example_benchmark.xml.

:


:


xml- ( Documents\My Games\F1 2015).

Metro: LL Redux

Metro: Last Light (LL) Redux.

METRO Redux Benchmark v3.00 x64, .

. Metro: LL Redux :


Middle-earth: Shadow of Mordor

Middle-earth: Shadow of Mordor , ( ).

, render.cfg settings.cfg

, , .


Hitman: Absolution (1.0.447.0)

Hitman: Absolution , . . ini-, . , . :


:


Thief (1.6 build 4158.14)

Thief ( 64- ) , , setting.txt ( ) . Thief -:


Tomb Raider GOTY Edition (v.1.01.748.0)

Tomb Raider , . ini-, . , .

Tomb Raider :


Tomb Raider :


Sleeping Dogs (v.1.0)

Sleeping Dogs , . DisplaySettings.xml . -:

 
Enable quality anti-aliasing Extreme Normal
Shadow resolution High Off
Screen space ambient occlusion High Normal
Enable V-Sync Off Off
Enable quality motion blur High Off
World density Extreme Low
FPS limiter Off Off
Low resolution buffers Off Off

Sniper Elite V2

, Sniper Elite V2. ini-. :

 
MotionBlur On Off
AmbientOcclusion On Off
VSync Off Off
ReduceMouseLag Off Off
TextureDetail Ultra Low
ShadowDetail Ultra Low
AntiAliasing High Off
DrawDistance Ultra Low
AnisotropicFiltering 16 Off
ComputeShader On Off
AdvancedShadows High Off
Supersampling 4.0x Off

Batman: Arkham Origins (v.1.12)

BioShock Infinite , ( «BatmanOrigins.exe benchmark»). , GFXSettings.BatmanArkhamOrigins.xml . .


BioShock Infinite (v.1.1.22)

BioShock Infinite , . , . UltraDX11_DDOF, VeryLow.

, : «:\Program Files (x86)\Bioshock Infinite\Binaries\Win32\benchmark.bat UltraDX11_DDOF -unattended -resx=2560 -resy=1440» ( 2560×1440).

: «:\Program Files (x86)\Bioshock Infinite\Binaries\Win32\benchmark.bat VeryLow -unattended -resx=2560 -resy=1440».

csv-.

, . , , .

, , 0,95 ( ). , .

( 0,95) 4,302.

, (, ) (, ). , . . , Batman Arkham Origins FPS (, 9,88 FPS), SniperEliteV2 — (, 4,7 FPS). , , , . , , 4,7 FPS, , FPS 0,05 FPS.

, :

:

Metro: LL Redux 0,005 FPS
Middle-earth: Shadow of Mordor 0,005 FPS
Thief 0,05 FPS
Tomb Raider GOTY Edition 0,05 FPS
Sniper Elite V2 0,05 FPS
Batman: Arkham Origins 0,005 FPS

.

, . , . .

, . , — , , . , 10n .

, . , .

, ( ), .

, 345,567 3,453, 346±3. 0,213, 345,57±0,21.

309,47 20,56 309±21. 31,23, , , (3,1±0,3) ·102 ( ). ,   , , 309±30 (, , ).

, : c .

:

Intel Core i7-6700K
Asus Maximus VIII Extreme
MSI Radeon R7 260X
Asus Radeon R9 280
16 DDR4-2133 (2 )
SSD Seagate ST480FN0021 (488 )
Windows 10 Pro (64-)

, Intel HD Graphics 530 ( 20.19.15.4300). MSI Radeon R7 260X, — Asus Radeon R9 280. AMD Crimson Edition 16.1.

(2560×1440, 1920×1080, 1366×768) .

2560×1440 .

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 9,416±0,027 26,48±0,13 49,56±0,20
World of Warships 0.5.0.3 13,01±0,13 37,40±0,09 67,04±0,06
Grid 2 7,68±0,04 38,3±0,5 70,24±0,14
F1 2015 7,18±0,04 26,47±0,14 45,83±0,08
Metro: LL Redux 3,07±0,04 8,06±0,05 18,15±0,09
Middle-earth: Shadow of Mordor 5,45±0,05 18,3±0,7 35,51±0,10
Hitman: Absolution 2,262±0,022 11,71±0,05 23,48±0,13
Thief 4,8±0,05 18,47±0,15 35,17±0,15
Tomb Raider GOTY Edition 2,5±0,05 10,03±0,15 20,27±0,15
Sleeping Dogs 5,020±0,011 10,23±0,14 21,44±0,17
Sniper Elite V2 5,00±0,05 14,03±1,15 17,27±0,15
Batman: Arkham Origins 9,39±0,13 37,2±0,9 69,5±1,0
BioShock Infinite 5,71±0,06 25,413±0,029 50,11±0,05

2560×1440 .

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 54,69±0,15 116,89±0,06 116,77±0,07
World of Warships 0.5.0.3 33,04±0,25 73,451±0,029 73,56±0,14
Grid 2 37,6±0,8 140±4 240±8
F1 2015 15,91±0,05 55,07±0,15 91,9±0,4
Metro: LL Redux 14,25±0,13 45,5±0,6 96,1±0,6
Middle-earth: Shadow of Mordor 15,6±0,1 53,14±0,06 102,0±0,4
Hitman: Absolution 16,78±0,14 59,2±0,6 105,3±0,8
Thief 10,10±0,05 37,60±0,25 67,8±0,4
Tomb Raider GOTY Edition 19,40±0,05 75,2±0,9 156,6±2,5
Sleeping Dogs 12,37±0,08 47,5±0,5 86,9±0,4
Sniper Elite V2 17,6±1,3 56,6±0,5 120,6±1,6
Batman: Arkham Origins 19,98±0,07 88,8±1,8 191,3±0,6
BioShock Infinite 24,15±0,14 85,44±0,08 169,2±0,4

2560×1440 :


1920×1080 :

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 15,29±0,19 43,0±0,3 75,55±0,27
World of Warships 0.5.0.3 19,87±0,16 58,02±0,08 73,50±0,13
Grid 2 11,10±0,14 54,6±0,5 97,0±2,4
F1 2015 10,87±0,09 39,67±0,18 64,4±0,6
Metro: LL Redux 5,18±0,04 15,00±0,05 31,70±0,10
Middle-earth: Shadow of Mordor 8,35±0,04 27,3±0,6 49,25±0,09
Hitman: Absolution 3,762±0,025 18,49±0,21 35,58±0,12
Thief 7,60±0,05 28,27±0,29 50,3±0,5
Tomb Raider GOTY Edition 4,20±0,05 16,63±0,15 32,9±0,8
Sleeping Dogs 5,121±0,022 17,87±0,21 35,2±0,4
Sniper Elite V2 5,03±0,15 14,00±0,05 28,70±0,05
Batman: Arkham Origins 15,75±0,13 61,90±0,15 102,5±0,7
BioShock Infinite 9,41±0,07 42,10±0,05 78,88±0,10

1920×1080 :

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 87,14±0,26 116,83±0,09 116,56±0,16
World of Warships 0.5.0.3 53,5±0,3 73,65±0,05 73,559±0,022
Grid 2 59,3±1,4 221±12 242±4
F1 2015 25,1±0,4 85,5±1,0 128,3±0,5
Metro: LL Redux 23,14±0,14 75,6±0,7 146,7±1,2
Middle-earth: Shadow of Mordor 23,400±0,025 79,82±0,04 141,0±0,4
Hitman: Absolution 27,40±0,17 94,8±0,9 107,3±0,6
Thief 17,47±0,15 58,3±0,5 94,07±0,15
Tomb Raider GOTY Edition 43,57±0,15 130,8±1,7 258,6±0,4
Sleeping Dogs 19,8±0,4 73,7±1,1 124,1±1,5
Sniper Elite V2 28,7±0,25 96,7±0,6 190,5±0,8
Batman: Arkham Origins 32,8±0,5 151,0±0,6 302,7±1,5
BioShock Infinite 39,6±0,6 140,4±0,8 245,6±2,5

1920×1080 :


1366×768 :

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 27,70±0,06 72,8±0,4 95,75±0,15
World of Warships 0.5.0.3 32,2±0,4 73,56±0,07 73,54±0,05
Grid 2 15,28±0,04 75,4±1,4 129,4±0,8
F1 2015 17,22±0,19 61,0±0,3 90,3±0,4
Metro: LL Redux 9,54±0,21 30,01±0,08 55,71±0,25
Middle-earth: Shadow of Mordor 12,97±0,08 39,3±2,2 66,8±0,3
Hitman: Absolution 6,56±0,13 29,9±0,5 53,69±0,23
Thief 12,00±0,05 43,60±0,25 71,3±0,4
Tomb Raider GOTY Edition 7,20±0,05 28,57±0,29 53,4±0,4
Sleeping Dogs 8,27±0,07 32,5±0,5 60,0±0,3
Sniper Elite V2 6,00±0,05 24,83±0,15 49,8±0,4
Batman: Arkham Origins 28,0±0,5 99,9±1,8 150,6±0,6
BioShock Infinite 16,51±0,09 73,047±0,014 121,5±0,3

1366×768 :

, FPS
Intel HD Graphics 530 MSI Radeon R7 260X Asus Radeon R9 280
World of Tanks 0.9.12 113,91±0,14 116,4±0,9 116,39±0,07
World of Warships 0.5.0.3 73,5±0,08 73,67±0,06 73,53±0,09
Grid 2 105,4±2,7 242±8 244±4
F1 2015 40,98±0,15 135±3 144±0,5
Metro: LL Redux 41,1±0,4 132,7±0,8 183,8±1,5
Middle-earth: Shadow of Mordor 34,31±0,19 117,85±0,21 187,7±0,4
Hitman: Absolution 46±4 107,74±0,19 107,3±0,5
Thief 28,93±0,15 90,07±0,15 108,9±0,4
Tomb Raider GOTY Edition 81,5±2,5 242,5±1,2 446±7
Sleeping Dogs 33,4±0,5 115,1±1,0 176,3±1,3
Sniper Elite V2 31,3±2,4 168,4±0,4 292,6±1,5
Batman: Arkham Origins 58,4±0,3 267±3 390±10
BioShock Infinite 69,9±0,3 237±2 297±3

, , 1366×768 :


, . , . , , , World of Tanks 0.9.12 World of Warships 0.5.0.3 «» , ( 1366×768).

( iXBT Game Benchmark 2016). 2016 , .