В первой части нашего цикла мы подробно описали методику измерения производительности ноутбуков на основе реальных приложений. Вторая часть была посвящена описанию методики измерения производительности ноутбуков в играх. В этой, заключительной, части мы изложим методику измерения времени автономной работы ноутбуков, а также рассмотрим используемое нами инструментальное тестирование.
Итак, еще раз напомним, что для оценки производительности ноутбуков мы используем тестовые скрипты (бенчмарки) на основе реальных приложений. Бенчмарк iXBT Notebook Benchmark v.1.0 предназначен для оценки производительности ноутбуков в неигровых пользовательских приложениях, а бенчмарк iXBT Game Benchmark v.1.0 позволяет оценить производительность ноутбуков в играх. В бенчмарке iXBT Notebook Benchmark v.1.0 результатом является время выполнения отдельных тестовых задач, которое сопоставляется с временем выполнения этих же задач на референсной системе, используемой для сравнения, а в бенчмарке iXBT Game Benchmark v.1.0 производительность оценивается по минимальному и среднему значению FPS.
Безусловно, самый спорный момент нашей методики (как и любой другой) — это набор приложений, используемых для тестирования, и тестовые задачи, которые выполняются в этих приложениях. В бенчмарке iXBT Notebook Benchmark v.1.0 мы постарались подобрать пользовательские приложения, которые, во-первых, были бы популярными и типичными для ноутбуков, во-вторых, поддавались бы скриптованию, а в-третьих, позволяли бы создавать тестовые задачи, время выполнения которых можно было бы измерить. Именно по этой причине в нашем тестовом скрипте не используются, например, некоторые специфические CAD-приложения, которые нельзя считать типичными для ноутбуков. Кроме того, мы не используем такой популярный пакет, как MS Office, поскольку непонятно, что́ в данном случае можно измерять. В результате в бенчмарк iXBT Notebook Benchmark v.1.0 вошло девять приложений, которые позволяют оценить производительность ноутбука в таких задачах, как видеоконвертирование, создание видеоконтента, обработка цифровых фотографий, аудиообработка, распознавание текста, архивирование и разархивирование данных, а также скорость загрузки приложений и контента и скорость копирования данных. В игровом бенчмарке iXBT Game Benchmark v.1.0 мы используем шесть различных игровых тестов (Aliens vs Predator D3D11 Benchmark v.1.03, World of Tanks 0.8.9, Bioshock Infinite, Grid 2, Metro LL, Hitman Absolution). Напомним, что каждый игровой тест запускается в двух режимах настройки (максимальное и минимальное качество) и в разрешении, равном разрешению экрана ноутбука.
Ну а теперь рассмотрим, каким образом предлагается измерять время автономной работы ноутбука.
Бенчмарк iXBT Battery Benchmark v.1.0
Пожалуй, измерение времени автономной работы ноутбука — это самый спорный момент в методике тестирования ноутбуков. Действительно, во-первых, возникает вопрос, при какой яркости экрана и каких настройках схемы энергопотребления измерять время автономной работы. Во-вторых — какой сценарий нагрузки использовать? Кроме того, в данном тесте довольно проблематично оценить разброс результатов тестирования, поскольку повторение этого теста несколько раз займет очень много времени. Тем не менее, тестирование ноутбуков без измерения времени автономной работы нельзя считать полным, поскольку данная характеристика является одной из важнейших, особенно если речь идет об ультрабуках, которые ориентированы именно на автономное применение.
Итак, начнем по пунктам.
Настройка схемы энергопотребления
При измерении времени автономной работы ноутбуков мы используем схему энергопотребления «Сбалансированная» с дополнительными настройками.
Дополнительно блокируется возможность отключения экрана, перехода в режим сна и в режим гибернации. Кроме того, в режиме работы от батареи яркость экрана устанавливается равной 50% от максимальной и отключается адаптивная регулировка яркости.
Конечно, установка яркости экрана на 50% от максимальной — это довольно спорный момент нашей методики тестирования. С одной стороны, у различных моделей ноутбуков может быть разная максимальная яркость, и получается, что ноутбуки тестируются не в равных условиях. С другой стороны, устанавливать одинаковую яркость экрана (например, 120 кд/м²) с применением калибратора все равно не получится, поскольку шаг изменения яркости у различных моделей ноутбуков различен и, как правило, довольно большой (порядка 10 кд/м²).
Кроме того, яркость, равную 50% от максимальной, всегда можно выставить самостоятельно, а вот если яркость устанавливать в абсолютных единицах с применением спектрофотометра, то пользователь просто будет лишен возможности сделать то же самое. Также стоит учесть, что поскольку в ходе инструментального тестирования мы измеряем максимальную и минимальную яркость экрана, всегда можно точно определить, какая яркость соответствует 50% от максимальной.
Помимо указанного, для тестирования корректируются уровни низкого и почти полного разряда батареи и действия ноутбука при разряде батареи:
- Действия при почти полной разрядке батареи: Завершение работы;
- Уровень низкого заряда батареи: 5%;
- Уровень почти полной разрядки батареи: 1%;
- Уведомление о низком заряде батареи: Выключено;
- Действие низкого заряда батарей: Действия не требуется;
- Уровень резервной батареи 0%.
Корректировка указанных параметров необходима для того, чтобы ноутбук смог в автономном режиме выполнять определенную работу до полной разрядки батареи, после чего автоматически выключался бы.
Отметим, что все указанные выше изменения настроек мы, конечно же, выполняем не вручную (при ручной настройке можно легко забыть изменить какой-либо параметр), а экспортируем заранее созданную схему энергопотребления с применением стандартной команды powercfg.exe. В том случае, если в ноутбуке применяются фирменные утилиты управления питанием, которые устанавливают свои собственные схемы энергопотребления, данные утилиты вместе со схемами энергопотребления предварительно деинсталлируются. Также отметим, что при тестировании ноутбука в автономном режиме мы дополнительно отключаем беспроводную сеть.
Сценарии нагрузки
Следующий важный вопрос — выбор сценариев загрузки ноутбука при измерении времени автономной работы. Самый простой вариант — измерить время «работы» в режиме простоя, то есть время, в течение которого ноутбук может находиться во включенном состоянии, не выполняя при этом никаких задач, и время работы в режиме максимальной загрузки, которую можно имитировать каким-нибудь стресс-тестом типа Stress FPU из пакета AIDA64 Extreme Edition. Тем самым мы получим «вилку» времени автономной работы ноутбука. То есть при использовании реальных пользовательских задач время автономной работы будет находиться в интервале, определяемом «временно́й вилкой». Тем не менее, несмотря на простоту реализации и очевидность, данный способ измерения времени автономной работы несколько оторван он реальности. Все же экстремальная загрузка процессора в автономном режиме работы ноутбука — это нетипичная ситуация. А потому для измерения времени работы в автономном режиме мы решили ограничиться двумя наиболее типичными сценариями использования ноутбука: работа с текстом и просмотр фотографий, а также просмотр видео.
Сам принцип измерения времени автономной работы ноутбука достаточно прост: при выполнении какого-либо сценария загрузки в фоновом режиме запускается скрипт, который создает текстовый файл с результатами. В этот файл каждые 10 секунд заносится новое значение времени, прошедшего с начала тестирования. Как показывает практика, такой фоновый скрипт не создает дополнительной нагрузки на систему, и время автономной работы с применением фонового скрипта и без него (при замере по секундомеру) не отличается вовсе. Скрипт, фиксирующий результаты тестирования, и сценарии загрузки автоматически запускаются одновременно при отключении стационарного питания ноутбука (для определения момента отключения питания используется API-функция, позволяющая контролировать состояние питания ноутбука). Ну и еще раз напомним, что мы тестируем ноутбуки с установленной 64-битной версией операционной системы Windows 8 или Windows 8.1.
Работа с текстом и просмотр фотографий
В сценарии работы с текстом и просмотра фотографий имитируется набор текста в редакторе Notepad и просмотр альбома фотографий в режиме слайд-шоу с использованием Windows Photo Viewer.
Первоначально создается документ, в котором набирается текст объемом примерно 13 тыс. знаков. После этого документ сохраняется, удаляется, и запускается просмотр альбома из 30 фотографий в режиме слайд-шоу. Далее описанный процесс повторяется по кругу — и так до полной разрядки батареи. Отметим, что описанный сценарий дает очень низкую нагрузку на процессор, и, как показывает практика, время автономной работы в данном режиме близко ко времени работы ноутбука в режиме простоя.
Просмотр видео
Определение времени автономной работы ноутбука в режиме просмотра видео упирается в два принципиальных вопроса. Во-первых, какой использовать проигрыватель, а во-вторых, какой использовать видеоконтент. Ну а если учесть, что плееры допускают различные варианты настройки, становится понятно, что возможных сочетаний в данном случае может быть очень много, а понятие лучшего плеера вообще лишено смысла, поскольку для пользователя лучшим является тот плеер, которым он привык пользоваться.
В качестве эксперимента мы решили опробовать девять различных плееров на предмет выявления их энергоэффективности при просмотре видеоролика. Применялись следующие видеоплееры:
- KMPlayer 3.7.0.113
- Corel WinDVD Pro 11.6.1.4.
- GOM Player 2.2.56
- Media Player Classic Home Cinema(64-bit) 1.7.1
- Daum PotPlayer
- SPlayer
- VLC media player 2.1.2
- Windows Player 2.3.0.0
- Windows Media Player (WMP)
Для просмотра использовался HD-видеоролик длительностью 3 мин. 35 с. Подробные характеристики ролика можно посмотреть по ссылке. Мы преднамеренно выбрали в качестве тестового достаточно «тяжеловесный» ролик с высоким битрейтом — чтобы создать по возможности высокую нагрузку и на ядра процессора, и на графическое ядро. В качестве тестовой системы использовался ультрабук на базе процессора Intel Core i5-3317U без дискретной графики (процессорное графическое ядро Intel HD Graphics 4000) под управлением операционной системы Windows 8 (64-битной). При проигрывании видеоролика запускалась утилита Hwinfo64 v4.31-2075, с использованием которой собирались данные о загрузке ядер процессора, графического ядра и энергопотреблении процессора в целом.
Естественно, возникает вопрос о настройках плееров при просмотре видео (в частности, о выборе видеодекодера). Мы использовали плееры с настройками по умолчанию, поскольку, во-первых, протестировать со всеми возможными настройками просто нереально, а во-вторых, подавляющее большинство пользователей инсталлирует плееры с настройками по умолчанию.
Подробные результаты тестирования плееров мы вынесли на отдельную страницу. Кроме определения загрузки процессора и графического ядра, а также энергопотребления процессора (с учетом графического ядра) при воспроизведении тестового видеоролика для каждого плеера, мы также измерили время автономной работы в этом режиме работы. Результаты тестирования следующие:
| Плеер | Время автономной работы |
|---|---|
| MPC-HC (64-bit) 1.7.1 | 3 ч. 55 мин. |
| WMP 12 | 4 ч. 19 мин. |
| GOM Player 2.2.56 | 3 ч. 49 мин. |
| KMPlayer 3.7.0.113 | 2 ч. 38 мин. |
| Daum PotPlayer 1.5.40688 | 3 ч. 46 мин. |
| SPlayer | 2 ч. 45 мин. |
| VLC media player 2.1.2 | 3 ч. 19 мин. |
| Windows Player 2.3.0.0 | 3 ч. 31 мин. |
В этой таблице с результатами не хватает только плеера Corel WinDVD Pro 11.6.1.4, для которого мы не смогли зациклить воспроизведение нашего тестового видеоролика и, соответственно, измерить время автономной работы. Впрочем, учитывая энергопотребление процессора, которое получается при использовании данного плеера, вряд ли можно ожидать от него выдающихся результатов по продолжительности работы.
Как видно по результатам тестирования, максимальное время автономной работы (4 ч. 19 мин.) дает плеер Windows Media Player 12. Однако тут нужно учесть следующее обстоятельство: сам по себе плеер WMP 12 не воспроизводит наш тестовый MKV-видеофайл. Проблема, конечно, решается, но для этого нужно инсталлировать какой-нибудь набор декодеров и сплиттеров — к примеру, пакет K-Lite Mega Codec Pack 10.2.0. По этой причине мы решили использовать для тестирования не WMP 12, а Media Player Classic Home Cinema (64-bit) 1.7.1, который умеет проигрывать практически любое видео без дополнительных телодвижений и имеет второй по длительности автономной работы результат (3 ч. 55 мин.). Именно этот плеер с настройками по умолчанию мы и используем в нашем бенчмарке для определения времени автономной работы при просмотре видео.
А вот видеофайл, который используется для тестирования времени автономной работы, отличается от того видеоролика, который мы использовали для тестирования видеоплееров. Дело в том, что просмотр Blu-ray Remux на ноутбуке в автономном режиме — это абсолютно нетипичная ситуация. Поэтому в качестве кандидатов мы отобрали четыре реальных фильма, которые представляют собой Blu-ray Rip и DVD Rip в контейнерах MKV и AVI.
Результаты тестирования на время воспроизведения фильмов в автономном режиме с использованием плеера MPC-HC (64-bit) 1.7.1 представлены в таблице:
| Фильм | Тип фильма | Контейнер | Размер | Длительность | Время автономной работы |
|---|---|---|---|---|---|
| Тест #0 | Blu-ray Remux | MKV | 1,06 ГБ | 3 мин. 35 с. | 3 ч. 55 мин. |
| Тест #1 | Blu-ray Rip | MKV | 11,8 ГБ | 1 ч. 48 мин. | 3 ч. 38 мин. |
| Тест #2 | Blu-ray Rip | MKV | 1,46 ГБ | 2 ч. 20 мин. | 4 ч. 09 мин. |
| Тест #3 | Blu-ray Rip | MKV | 13,2 ГБ | 2 ч. 22 мин. | 3 ч. 50 мин. |
| Тест #4 | DVD Rip | AVI | 1,49 ГБ | 1 ч. 30 мин. | 4 ч. 13 мин. |
| Тест #5 | Blu-ray Rip | AVI | 2,18 ГБ | 3 ч. 02 мин. | 4 ч. 13 мин. |
| Тест #6 | Blu-ray Rip | MKV | 5,69 ГБ | 1 ч. 28 мин. | 3 ч. 57 мин. |
Проанализировав результаты тестирования, мы решили выбрать в качестве тестового ролика Тест #2. Этот фильм, представляющий собой Blu-ray Rip, имеет не очень большой размер, что актуально для ноутбуков. Кроме того, он запакован в контейнер MKV, который очень популярен для вариантов Blu-ray Rip. Главное же — что от выбора конкретного файла длительность автономной работы практически не зависела. Ну и безусловно, для измерения времени автономной работы можно было выбрать любой другой видеофайл — важно лишь, чтобы во всех случаях это был один и тот же файл.
Оценка погрешности измерения
Понятно, что измерение времени автономной работы ноутбука возможно лишь с определенной степенью точности. Для демонстрации того, насколько точно можно его измерить, мы повторили один и тот же тест пять раз для плеера MPC-HC (64-bit) 1.7.1 (для контента Teст#2). Перед началом каждого теста аккумуляторная батарея заряжалась до 100%. Результаты тестирования следующие:
| Прогон | Время |
|---|---|
| 1 | 4 ч. 09 мин. |
| 2 | 4 ч. 09 мин. |
| 3 | 4 ч. 09 мин. |
| 4 | 4 ч. 07 мин. |
| 5 | 4 ч. 10 мин. |
| среднее значение | 4 ч. 09 мин. |
Как видим, в нашем случае результаты очень стабильные: разброс составляет менее 1%. Причем такие стабильные результаты времени автономной работы будут наблюдаться для любого воспроизводимого контента. К примеру, мы повторили аналогичный тест для первого видеоролика (Тест #0) и по трем прогонам получили относительную погрешность 0,79%. Тем не менее, нужно учитывать, что если использовать другой экземпляр аккумуляторной батареи (ту же модель, но другой экземпляр), то можно получить немного отличающиеся результаты, несмотря на одинаковую паспортную емкость батарей. Проблема заключается в том, что реальная емкость (точнее, реальный максимальный уровень заряда) может отличаться от паспортной емкости, причем, как нам представляется, разброс может достигать 10%.
Зависимость времени автономной работы от яркости экрана
Как мы уже отмечали, мы измеряем время автономной работы ноутбуков при яркости экрана, равной 50% от максимальной. Однако безусловно интересным представляется вопрос, как именно зависит время автономной работы от установленной яркости экрана (поскольку от яркости экрана непосредственно зависит и энергопотребление ноутбука). Мы измерили время автономной работы ноутбука в режиме просмотра видео (Тест #2) для трех уровней установленной яркости экрана: 0% (минимальная яркость), 50% и 100% (максимальная яркость). Результаты тестирования следующие:
| Яркость | 0% | 50% | 100% |
|---|---|---|---|
| 22 кд/м² | 94 кд/м² | 210 кд/м² | |
| Время автономной работы | 4 ч. 32 мин. | 4 ч. 09 мин. | 3 ч. 41 мин. |
Как видно по результатам тестирования, при максимальной яркости экрана время автономной работы составляет 3 ч. 41 мин., а при минимальной — на 51 минуту больше, что составляет 23%. То есть временна́я вилка автономной работы для максимальной и минимальной яркости экрана получается весьма существенная. Интересно также отметить, что зависимость времени автономной работы ноутбука (в режиме просмотра видео) от яркости экрана получается строго линейная. То есть зная результаты для максимальной и минимальной яркости, всегда можно точно сказать, каким будет результат для любого другого значения яркости экрана.
Инструментальное тестирование
Ну и в заключение нашей статьи опишем инструментальное тестирование, которое мы традиционно проводим для ноутбуков.
С использованием инструментального тестирования мы оцениваем качество выходного звукового тракта, ЖК-экрана, а также измеряем уровень шума, производимого ноутбуком.
Для оценки выходного звукового тракта, предназначенного для подключения наушников или внешней акустики, используется внешняя звуковая карта Creative E-MU 0204 USB, которая подключается к аудиовыходу ноутбука, и утилита RightMark Audio Analyzer 6.3.0. Тестирование проводится для режима стерео, 24-бит/44,1 кГц. Отметим, что в ходе тестирования звукового тракта по возможности отключаются все звуковые эффекты в настройках драйвера.
Методика измерения характеристик ЖК-экрана представляет собой усеченную версию методики тестирования ЖК-мониторов. Для тестирования экрана применяется спектрофотометр GretagMacbeth i1Pro и программное обеспечение ArgyII Color Management v.1.6.2. В ходе тестирования на некалиброванном экране измеряются такие характеристики, как максимальный и минимальный уровень яркости белого, статический контраст при максимальном значении яркости, значение гаммы, цветовой охват, спектр экрана, цветовая температура по шкале серого, баланс основных цветов по шкале серого и точность цветопередачи (дельта E) по шкале серого.
Тестирование уровня шума, производимого ноутбуком, проводится в специальной звукопоглощающей камере с применением прецизионного шумомера Октава 110А-Эко. Микрофон располагается относительно ноутбука так, чтобы имитировать типичное положение головы пользователя (на высоте 50 см). Данный способ измерения уровня шума не является стандартизированным, однако для сравнительного тестирования уровня шума разных моделей вполне подходит. Измерение уровня шума ноутбука производится в двух режимах: в режиме простоя и в режиме максимальной загрузки процессора и видеокарты с применением стресс-тестов Stress FPU и Stress GPU из пакета AIDA64.
Заключение
В этой заключительной статье мы рассмотрели нашу новую методику измерения времени автономной работы ноутбуков, а также вкратце описали, каким образом производится тестирование экранов, измерение уровня шума, а также тестирование звукового тракта. Этой методикой мы будем пользоваться как минимум на протяжении всего 2014 года, что позволит нам накопить базу результатов и сравнивать по производительности различные конфигурации ноутбуков.
В заключение хотелось бы предложить читателям поучаствовать в обсуждении данной методики и высказать свои конструктивные предложения по ее улучшению.
