Наша предыдущая официальная версия методики измерения производительности ноутбуков, компьютеров и пр. (не отдельных видеокарт!) в играх датирована 2018 годом, но по факту она уже несколько лет как заменена новой, в которой используются (и периодически добавляются) более современные игры. Однако и большинство этих игр на 2024 год уже устарело, так что мы решили одномоментно перейти на более актуальный набор, а заодно официально зафиксировать его в качестве номерной методики.
С 2018 года по настоящее время в игровой индустрии произошли крупномасштабные перемены. В новых моделях видеокарт (например, Nvidia серий GeForce RTX 30, а затем и GeForce RTX 40) увеличилось число шейдеров, расширились возможности обработки текстур высокого разрешения со сглаживанием (Antialiasing), стали обязательными поддержка трассировки лучей (Ray Tracing, RT), то есть динамическое моделирование поведения света при его отражениях от поверхностей моделируемого объекта, и суперсэмплинг на основе «глубокого обучения» (Deep Learning Super Sampling, DLSS), применяемый для рендеринга кадров в сниженном разрешении и динамического масштабирования до заданного пользователем разрешения без визуальной потери качества.
Создатели современных игр широко откликнулись на эти нововведения и в свою очередь буквально наводнили рынок соответствующими программными продуктами, в том числе с поддержкой RT и DLSS. Таким образом, необходимость изменить нашу методику тестирования производительности в играх стала ощущаться всё более и более остро, и мы, наконец, подвергли ее основательному пересмотру.
Испытательный набор
По сравнению с ранее принятым вариантом методики (пересмотр 2018 г.) мы изменили в обновленном варианте и набор игр, и опции запуска тестов. Отныне мы будем использовать лишь те игровые программные пакеты, которые содержат в себе интегрированные бенчмарки, позволяющие запускать измерение производительности без вмешательства в игровой процесс. Конечно, теоретически можно написать игровой скрипт с имитацией действий пользователя, который будет заменять собой такие бенчмарки, однако это требует много времени и имеет существенные ограничения при значительно различающихся конфигурациях тестируемых компьютеров. К тому же использование встроенных в игры общедоступных бенчмарков позволяет заинтересованным лицам без труда проверить полученные нами результаты.
При тестировании производительности в играх во весь рост встают две главные проблемы: во-первых, размеры дистрибутивов всех современных игр очень большие (иногда превышающие 120 ГБ), а во-вторых, игр со встроенными бенчмарками выпускается всё меньше и меньше.
Первое обстоятельство весьма осложняет тестирование ноутбуков: далеко не каждый из них оснащается накопителем достаточной вместимости, чтобы установить все игры методики сразу, поэтому приходится устанавливать игры по очереди, тестировать систему в разных конфигурациях встроенного бенчмарка, затем удалять установленный программный продукт и устанавливать новый. В итоге выигрыш от автоматизированного тестирования с помощью скриптов и сценариев оказывается мизерным, и мы решили вовсе от них отказаться. Есть и другая проблема использования игр с дистрибутивами больших размеров: их установка порой требует от 30 минут и более, то есть на подготовку тратится намного больше времени, чем на само тестирование, что делает процесс испытаний неоправданно дорогим и попросту нерентабельным. То, что встроенный бенчмарк становится в новых играх раритетом, не дает возможности использовать самые новые дистрибутивы. Например, из игр 2023 года такой опцией помимо Company of Heroes 3 обладает лишь Forspoken, однако в ее отчете есть лишь средний показатель fps (но не минимальный). При учете размера дистрибутива 130 ГБ мы посчитали, что подобный «урезанный» результат не станет оправданием затрат времени и места на накопителе, и решили не включать этот тест в нашу методику.
Подчеркнем: новая методика совместима только с 64-битной версией Windows 11. Она не заменяет собой методику тестирования дискретных видеокарт и будет использоваться для испытаний ноутбуков, настольных ПК, рабочих станций и моноблоков.
Мы решили отказаться от ранее обязательных измерений при разных вариантах масштабирования картинки, приняв разрешение экрана Full HD (1920×1080) как основное, свойственное всем современным игровым ПК, как настольным, так и портативным. Таким образом, тестирование всех игр нашего набора в разрешении 1920×1080 является обязательным, то есть программой-минимумом. Если разрешающая способность дисплея (экрана ноутбука или моноблока) превышает этот показатель и/или используемая в компьютере видеокарта является достаточно мощной (очевидно, что нет смысла «насиловать» карту уровня GeForce RTX 3050 в 4K), то автор обзора может использовать и другие варианты разрешения (2.5K, 4K и т. д.) уже в рамках «произвольной программы» для раскрытия потенциала аппаратной оснастки.
В методике нового пересмотра «узаконена» ориентация на максимальное качество графики (пресеты «очень высокий», «ультра», «экстремальный» и пр.). Исключения с понижением этих показателей допускаются лишь в тех случаях, если аппаратная часть окажется совершенно несостоятельной. По-прежнему бенчмарки запускаются трижды в виде отдельных прогонов, перед каждым из которых производится перезагрузка системы. По результатам, полученным в каждом прогоне, рассчитывается среднеарифметический показатель среднего и минимального FPS.
При учете показательности, информативности, удобства использования, длительности установки мы отобрали для тестирования набор из семи игр, который представлен ниже в таблице.
| Игра | Год | Жанр | Издатель | Движок |
|---|---|---|---|---|
| Assassin’s Creed: Valhalla v1.7.0 | 2020 | Экшн | Ubisoft | Ubisoft Anvil |
| Company of Heroes 3 v1.4.2.21612 | 2023 | Стратегия | Sega | Essence 5 |
| Cyberpunk 2077 v2.1 | 2020 | Ролевая | CD Projekt | REDengine 4 |
| F1 22 v. 1.05 | 2022 | Автогонки | EA Sports | EGO 4 |
| Far Cry 6 v1.5.0 | 2021 | Шутер | Ubisoft | Dunia 2 |
| Immortals Fenyx Rising v1.3.4 | 2020 | Экшн | Ubisoft | Ubisoft Anvil |
| Watch Dogs: Legion v1.5.6 | 2020 | Шутер | Ubisoft | Disrupt |
Приведенный набор дает возможность оценки игровой производительности в одиннадцати раундах и выявления влияния на такую производительность режимов с активацией RT и DLSS в двух играх. Общий список тестов имеет следующий вид:
- Assassin’s Creed: Valhalla
- Company of Heroes 3
- Cyberpunk 2077 без RT и DLSS
- Cyberpunk 2077 с RT
- Cyberpunk 2077 с RT и DLSS
- F1 22
- Far Cry 6
- Immortals Fenyx Rising
- Watch Dogs: Legion без RT и DLSS
- Watch Dogs: Legion с RT
- Watch Dogs: Legion с RT и DLSS
Заметно, что некоторые игры пришли на смену собственным более ранним версиям. Assassin’s Creed: Valhalla наследовала Assassin’s Creed: Odyssey, F1 22 сменила F1 2018, Far Cry 6 стала очередной реинкарнацией Far Cry 5. Но практической пользы для тестирования производительности такая преемственность, разумеется, не имеет, сравнивать результаты старых и новых игр одной серии нельзя, в них изменилось всё, начиная от графики и заканчивая движком.
При подборе программных пакетов мы сосредоточились на поддержке технологий RT и DLSS, работающих лишь с дискретной графикой Nvidia. Однако три игры нового комплекта — Assassin’s Creed: Valhalla, Cyberpunk 2077 и Far Cry 6 — поддерживают технологию Fidelity Super Resolution (FSR), некую альтернативу DLSS для видеокарт AMD (про видеокарты Intel в массовых компьютерах речи пока не идет). Мы пока не готовы принять испытания FSR в качестве нашего внутреннего стандарта, но авторы обзоров вольны использовать эту опцию, особенно если нативной поддержки DLSS видеокарта не имеет.
Для всех игр средствами Windows 11 устанавливается разрешение экрана 1920×1080 (соотношение сторон 16:9), даже если нативные параметры иные. Следует также проверить масштабирование в установках Windows 11: оно должно составлять 100%.
В соответствующих меню игр и их встроенных бенчмарков принудительно отключаются:
- масштабирование изображения
- вертикальная синхронизация видео
- ограничения минимального и максимального fps
- опции использования HDR
Перейдем к специфике действий при настройке каждой из игр нового тестового набора.
Assassin’s Creed: Valhalla
Доступ к настройкам содержится в опциях главного меню.
Здесь нужно выбрать пункт с соответствующим названием.
Следует отключить лимит количества кадров в секунду и вертикальную синхронизацию, установить режим окна в полный экран, соотношение сторон 16:9, разрешение 1920×1080.
Активируем вкладку «Графика».
Из опций «Кач-во графики» выбираем пресет «Самое высокое». Другие значения автоматически заменяются на максимальные.
Специально менять те позиции, в которых показатели определены просто как «высокие», не требуется.
Перезапускаем игру и запускаем тестовый прогон бенчмарка.
После завершения тестового прогона используем показатели в нижнем левом углу экрана отчета:
- средний fps — К/с средн. (в данном случае — 147)
- минимальный fps — Минимум 1% (в данном случае — 103)
Company of Heroes 3
Начальный экран не содержит нужных нам опций.
Для вызова меню кликаем на круглую иконку с тремя строками в правом верхнем углу экрана.
В меню выбираем Settings (установки).
На экране установок в разделе Graphics изменяем параметры:
- Game Window — Exclusive Fullscreen
- Resolution Scaling — Default — Off
- Game Scale — 100%
- Framerate Limit — Uncapped FPS
- Vertical Sync — Off
- Image Quality — Maximum
Сохраняем изменения (Save).
Перезапускаем программу, запускаем тестовый прогон (Launch Graphics Benchmark).
На экране отчета используем показатели в нижнем левом углу экрана:
- средний fps — Average fps (в данном случае — 214,46)
- минимальный fps — Avg. 1% Low fps (в данном случае — 94,54)
Cyberpunk 2077
Для этой игры мы используем три варианта тестирования:
- с активацией RT и DLSS
- с активацией только RT
- без RT и DLSS
Это позволит оценить вклад в нагрузку на ресурсы трассировки лучей и возрастание fps за счет использования DLSS.
В главном меню выбираем раздел «Настройки».
Первым делом займемся параметрами на вкладке «Видео»:
- Максимум кадров в секунду — Выключено
- Оконный режим — Полный экран
- Разрешение — 1920×1080
Серые (затененные) опции изменению не подлежат.
Тестирование без RT и DLSS
Основные настройки сосредоточены в разделе «Графика».
Быстрая настройка качества — пресет «Впечатляющее». Далее нужно изменить масштаб разрешения на «Выкл.».
При этом быстрая настройка качества меняется на «Иное».
- Другие настройки должны выглядеть так:
- Создание кадров DLSS — Выключено
- Качество текстур — Высокое
- Трассировка лучей — Выключено
Остальные должны оставаться неизменными после первоначальной установки быстрой настройки качества в соответствии с пресетом «Впечатляющее».
Применяем все сделанные изменения и запускаем прогон бенчмарка.
На экране отчета используем показатели:
- средний fps — «Среднее значение fps» (в данном случае — 116,34)
- минимальный fps — «Минимум fps» (в данном случае — 56,98)
Тестирование с RT, но без DLSS
В предыдущей серии тестов трассировка лучей и DLSS были выключены. Оставляем «Создание кадров DLSS» в том же положении (Выкл.).
Включаем трассировку лучей (но не трассировку пути!).
Параметры качества изображения не изменяем. Они должны оставаться такими же, как при тестировании без RT и DLSS.
Применяем изменения и запускаем прогон бенчмарка.
На экране отчета используем те же показатели:
- средний fps — «Среднее значение fps» (в данном случае — 56,68)
- минимальный fps — «Минимум fps» (в данном случае — 46,30)
Тестирование с RT и DLSS
Для «Быстрой настройки качества» устанавливаем пресет «Ультра». В поле «Масштаб разрешения» проверяем установку «Суперразрешение DLSS», если оно не будет установлено выбором пресета. Для «Суперразрешение DLSS» пресет выбирает значение «Автоматическое», и его менять не нужно, потому что это сбросит другие показатели.
Резкость DLSS устанавливаем вручную на «0,50».
Создание кадров DLSS включаем вручную.
Применяем изменения и запускаем прогон бенчмарка.
На экране отчета считываем показатели:
- средний fps — «Среднее значение fps» (в данном случае — 142,80)
- минимальный fps — «Минимум fps» (в данном случае — 62,48)
F1 22
Как и в прежней версии, меню содержит несколько уровней иерархии.
Из закладки Home переходим в раздел Game Options.
В разделе Game Options выбираем Settings.
Из доступных опций Settings нам нужен блок Graphics Settings.
В блоке Graphics Settings активируем опцию Video Mode.
Устанавливаем значения в соответствии с тем, что приведено на скриншоте.
Подтверждаем внесенные изменения.
В Graphics Settings изменяем значение Detail Preset на Ultra High, проверяем и при необходимости корректируем другие установки в соответствии со значениями, содержащимися на скриншоте.
Выбираем Benchmark Mode.
Устанавливаем значение Track: Singapore, меняем значение Weather Type с «Dry» (по умолчанию) на «Wet». Таким образом задаются наиболее сложные условия. Запускаем бенчмарк (Run Benchmark Test).
На экране отчета считываем показатели:
- средний fps — «Average FPS» (в данном случае — 102)
- минимальный fps — «Minimum FPS» (в данном случае — 84)
Far Cry 6
В главном меню выбираем Options.
В меню Options активируем раздел Video.
В разделе Video открываем вкладку Monitor. Проверяем:
- Window Mode — Full Screen
- Display Resolution — 1920×1080
- Aspect Ratio — 16:9
На вкладке Advanced Settings проверяем:
- V-Sync — Off
- Enable Framerate Lock — Off
- Adaptive Resolution — Off
- Resolution Scale — 1
На вкладке Quality выбираем пресет Graphics Quality — Ultra.
В разделе Extended Features оставляем все параметры выключенными (Off). Запускаем тестовый прогон — Test in Benchmark.
На экране отчета считываем показатели:
- средний fps — «Average FPS» (в данном случае — 143)
- минимальный fps — «Minimum FPS» (в данном случае — 109)
Immortals Fenyx Rising
Доступ к установкам предоставлен через главное меню, которое открывается после загрузки игры и поиска дополнительного контента.
На вкладке «Экран» проверяем следующие параметры:
- Режим окна — В окне без рамки
- Соотношение сторон — 16:9
- Разрешение — 1920×1080
На вкладке «Графика» в первом разделе (Кач-во графики) из ниспадающего списка выбираем пресет «Самое высокое».
Для настроек качества теней и эффектов должно быть выбрано «Самое высокое», а для качества текстур — «Очень высокое». Включаем отражения и объемное освещение.
Применяем внесенные изменения и запускаем бенчмарк («Тест производительности»).
Учитываем показатели:
- средний fps — «Средн.» (в данном случае — 103)
- минимальный fps — «Мин.» (в данном случае — 48)
Watch Dogs: Legion
После загрузки игры следует принять настройки яркости, гаммы и контрастности изображения. После этого открывается главное меню.
Справа внизу кликаем на Options.
В закладках выбираем Display и проверяем установки:
- Window Mode — Fullscreen
- Resolution — 1920×1080
- V-Sync — Off
- FPS Limit — Off
На вкладке Quality в разделе Graphics Quality выбираем пресет Ultra.
Тестирование без RT и DLSS
После установки пресета Ultra в Quality: Graphics Quality трассировка лучей и DLSS выключены (Ray Traced Reflections Off, DLSS Off). Ничего изменять не нужно.
Запускаем бенчмарк.
Учитываем показатели:
- средний fps — «Avg FPS» (в данном случае — 119)
- минимальный fps — «1% low FPS» (в данном случае — 83)
Тестирование c RT, но без DLSS
На вкладке Quality: Ray Tracing устанавливаем для Ray Traced Reflections значение Ultra. Более ничего не меняем. Запускаем прогон бенчмарка.
Учитываем показатели:
- средний fps — «Avg FPS» (в данном случае — 77)
- минимальный fps — «1% low FPS» (в данном случае — 59)
Тестирование c RT и DLSS
На вкладке Quality: Advanced устанавливаем для DLSS значение Quality, а Extra Details — 50%. Более ничего не меняем. Запускаем прогон бенчмарка.
Учитываем показатели:
- средний fps — «Avg FPS» (в данном случае — 85)
- минимальный fps — «1% low FPS» (в данном случае — 62)
Примеры тестирования
В ходе выработки методики пересмотра февраля 2024 г. были использованы игровой ноутбук Maibenben X639 [см. обзор от 1 декабря 2023 г.], который едва не стал самым мощным игровым инструментом минувшего года, и настольный игровой ПК Blaser Essence на основе Intel Core i5-13400F и Nvidia GeForce RTX 4080. Ниже в таблицах кратко представлены конфигурации обеих машин.
| Экран | IPS, 16 дюймов, 2560×1600 (16:10) |
|---|---|
| Процессор | Intel Core i9-13900HX |
| Оперативная память | 32 ГБ DDR5-4800 (двухканальный режим) |
| Видеокарта | Nvidia GeForce RTX 4080 Laptop (12 ГБ GDDR6) |
| Накопитель | 1 ТБ SSD Kingston OM8SEP41024Q, PCIe 4.0 x4 |
| Аккумулятор | 62,3 Вт·ч |
| Операционная система | Windows 11 Professional |
| Процессор | Intel Core i5-13400F |
|---|---|
| Материнская плата | Asus TUF Gaming B660M-Plus D4 |
| Оперативная память | 64 ГБ DDR4-3200 (двухканальный режим) |
| Видеокарта | Nvidia GeForce RTX 4080 (16 ГБ GDDR6) |
| Накопитель | SSD Kingston SFYRD2000G (2 ТБ) |
| Операционная система | Windows 11 Professional |
Представляем результаты тестирования обеих систем в разрешении 1920×1080.
| Игра | Настольный ПК Blaser Essence | Игровой ноутбук Maibenben X639 | ||
|---|---|---|---|---|
| средний fps | минимальный fps | средний fps | минимальный fps | |
| Assassin’s Creed: Valhalla | 129 | 79 | 144 | 97 |
| Company of Heroes 3 | 182 | 72 | 207 | 99 |
| Cyberpunk 2077 | 107 | 51 | 118 | 48 |
| Cyberpunk 2077 с RT | 68 | 44 | 67 | 48 |
| Cyberpunk 2077 с RT и DLSS | 133 | 77 | 142 | 76 |
| F1 22 | 114 | 102 | 111 | 98 |
| Far Cry 6 | 101 | 82 | 138 | 115 |
| Immortals Fenyx Rising | 102 | 45 | 142 | 75 |
| Watch Dogs: Legion | 80 | 58 | 128 | 89 |
| Watch Dogs: Legion с RT | 54 | 44 | 82 | 64 |
| Watch Dogs: Legion с RT и DLSS | 60 | 46 | 93 | 69 |
Заниматься здесь анализом полученных показателей явно преждевременно: методика нуждается в отладке, уточнении настроек и других условий тестирования.
Набор для неигровых систем
Этот комплект представляется сверх программы. Собственно говоря, настоящим мы лишь узаконим содержащиеся в нем четыре игры из методики тестирования игровой производительности предыдущего пересмотра, которые использовались в последние годы для тестирования ноутбуков, моноблоков и настольных ПК с интегрированной графикой или слабыми дискретными видеоускорителями со средними настройками качества и отключенными опциями сглаживания (antialiasing off). Узаконим именно для этой цели.
Вот состав комплекта:
- A Total War Saga: Troy (2020), версия 1.2.0
- F1 2018 (2018)
- Gears 5 (2019), версия 1.1.15.0
- World of Tanks (2010), версия 1.6.0.7
Ниже приведены краткие инструкции по настройкам встроенных бенчмарков перечисленных игр.
A Total War Saga: Troy
В главном меню выбираем пункт Graphics.
Устанавливаем разрешение 1920×1080 и среднее качество (Quality: Medium).
Отключаем сглаживание (Antialiasing: Off), выставляем двухкратную анизотропную фильтрацию (Anisotropic 2×),
Shadow detail: Medium.
Снимаем отметки с опций Proximity fading, Sharpening, Clouds shadows. Запускаем бенчмарк кликом на кнопку в правом верхнем углу окна (Benchmark).
Выбираем первую опцию — battle_benchmark.
По завершении прогона учитываем средний fps (Average FPS) и минимальный fps (минимальное значение по оси абсцисс).
F1 2018
В разделе меню Video устанавливаем разрешение 1920×1080.
Отключаем сглаживание (Anti-Aliasing: Off).
В разделе Advanced Setup устанавливаем пресет Medium.
В разделе Benchmark используем Track Australia (выставлено по умолчанию) и ясную погоду (Weather Type: Clear, по умолчанию).
Запускаем бенчмарк.
На экране отчета фиксируем средний fps (Average FPS) и минимальный fps (Minimum FPS).
Gears 5
После начальной загрузки следует нажать Enter...
И затем последовательно нажимать Enter еще на трех экранах с настройками картинки.
Последний экран приветствия. И снова нажатие Enter.
Начавшееся видеовступление можно остановить нажатием Esc.
В главном меню выбираем раздел Options.
Устанавливаем пресет качества Medium.
Отключаем вертикальную синхронизацию (Vertical Sync: Off).
Minimum Framerate: None, Maximum Framerate: Unlimited.
Cinematiс Framerate Limit: Off.
Texture Filtering: 2× Anisotropic. Нажимаем Esc для возврата.
Подтверждаем внесенные изменения (Enter).
Выходим в главное меню (Main Menu).
Выбираем раздел Extras.
Активируем прогон бенчмарка.
На экране отчета фиксируем средний fps (Average Framerate) и минимальный fps (Average Minimum Framerate).
World of Tanks
Поскольку в этом бенчмарке отчет выдается в собственных «баллах» (а в логе указывается только средний показатель fps), для выявление средних и минимальных fps мы используем программу MSI Afterburner (ее можно скачать отсюда). Перед запуском внутриигрового теста устанавливаем и запускаем это приложение.
После загрузки бенчмарка World of Tanks выбираем на нижней вкладке пресет «Среднее» (качество). Кликаем в левом нижнем углу на показатели разрешения и RT.
Ползунком сверху устанавливаем разрешение 1920×1080 (выбор по умолчанию). Сглаживание и тени с трассировкой лучей должны быть выключены. Кликаем на красное поле «Тест».
Баллы, которые выдает бенчмарк World of Tanks, пригодны только для сравнения с аналогичными показателями у других ПК. Однако у нас должен остаться отчет MSI Afterburner, в котором без труда обнаруживаются средние и минимальные fps, и именно их мы используем в финальных отчетах о производительности неигровых систем в играх.
Заключение
В новой версии методики предлагается тестирование систем при помощи семи игр 2020-2023 гг. выпуска. Главные требования к ним — наличие встроенных бенчмарков и отображение в отчетах о тестировании средних и минимальных fps. С учетом возможности раздельного включения трассировки лучей (RT) и DLSS сформировано 11 видов испытаний. Одновременно представлен набор из четырех «нетяжелых» игр из методики предыдущего пересмотра, уже в качестве эталонов для испытаний неигровых систем. Вполне вероятно, что после выхода наиболее ожидаемых игр 2024 г. оба списка будут дополнены. Мы будем рады ознакомиться с соображениями читателей по поводу того, что еще им хотелось бы видеть в составе игровых тестов. Если на примете есть игры, отвечающие вышеприведенным обязательным требованиям, мы будем рады получить об этом уведомления и изучить возможность включения таких игр в методику будущего пересмотра. Следует понимать, что мы не горим желанием увеличивать число игр ради их количества, поскольку это всегда означает существенный прирост расхода времени на испытания, но очень редко оказывается полезным при оценке их результатов. Сложность графики, новизна и актуальность выходят на первый план среди критериев отбора, и выбирая между двумя шутерами от третьего лица, в типичном случае мы предпочтем более популярный и современный.
