Время идет, появляются новые модели ноутбуков, новые приложения, новые тестовые пакеты, да и возможности нашей тестовой лаборатории постепенно расширяются. Пожалуй, пришло время сформулировать методику тестирования ноутбуков. В данном документе приведена структура типового обзора с пояснениями, что и зачем делается.
Итак, сначала —
Технические характеристики
Поскольку платформ на данный момент, прямо скажем, немного, просмотрев характеристики и не найдя (допустим) нового графического контроллера, можно уже представить себе результаты, которые покажет ноутбук в тестах производительности.
Далее —
Комплектация
Наличие стандартного пакета программ для просмотра DVD или записи оптических дисков (при наличии соответствующего привода) является обязательным, а разного рода полезные мелочи типа беспроводной мыши могут для кого-то являться плюсом при выборе модели, а для кого-то — и минусом (деньги-то за них все-таки берут). Субъективная часть
Первое знакомство
Оценка внешнего вида ноутбука и удобства расположения портов. Реальный вес. Фотографии ноутбука спереди, сзади (с поднятой крышкой), с боков и снизу.
Эргономика и удобство работы
Оценка удобства работы с ноутбуком. Клавиатура, тачпад, кнопки быстрого вызова приложений, медиаплееры и прочее. Сформулировать какие-либо объективные критерии выставления оценок, на мой взгляд, достаточно затруднительно, поэтому в основном идет описательный материал, а выводы приводятся на уровне удобно-неудобно для автора. В случае, если размер клавиш отличается от стандартных 19мм, будут приводится его значения. Здесь же приводится описание интересного фирменного софта, поставляемого в комплекте с ноутбуком.
На этом заканчивается субъективная часть обзора. Далее — объективные результаты инструментальных тестов. Объективные результаты тестов
Тест звукового тракта.
Тестируется сигнал, получаемый с линейного выхода, программой RightMark Audio Analyzer 5.5 с помощью звуковой карты Terratec DMX 6fire. Общие результаты приводятся в основном обзоре. Отчет, сгенерированный программой, — в виде отдельного документа.
Тестирование матрицы.
Тестирование производится в соответствии с методикой, разработанной для LCD-мониторов. Подробно с ней можно ознакомиться в этом документе. Единственное отличие — в связи с тем, что количество регулировок у ноутбучных матриц ограничено (по сути, hardware регулировка одна — яркость), тестирование производится при установке яркости на максимум. В основном обзоре приводятся значения времени отклика, среднего значения и отклонений от среднего яркости черного и белого полей и контрастности, а также углы обзора, измеренные по контрастности для CR 10:1 и 5:1. Полностью результаты и графики приводятся в отдельном документе.
Тестирование производительности и времени автономной работы
Для тестирования производительности ноутбуков и времени автономной работы используются тесты от BAPCO, как наиболее, на наш взгляд, адекватные. Единственный их недостаток на данный момент — отвратительная (не побоюсь этого слова) работа службы технической поддержки. В связи с этим нет гарантии, что тест пройдет на конкретной модели корректно и полностью.
Тестирование работы от аккумуляторных батарей. Для тестирования используется тестовый пакет BAPCO MobileMark 2005 Patch 1. Схема энергопотребления — Portable/Laptop. Все дополнительные утилиты управления энергопотреблением отключены. При необходимости исследование фирменных утилит управления энергопотреблением производится отдельно. Гашение экрана отключено. Яркость экрана при работе от батарей, в соответствии с методикой разработчика теста, устанавливается на минимальное значение, превосходящее 60 кд/м2. Контроль яркости осуществляется колориметром SpyderPRO (PANTONE) c ПО OptiCAL. Пакет состоит из четырех компонентов.
- Office Productivity 2002SE. Набор приложений не изменился по сравнению с тестом MobileMark 2002.
- Adobe Photoshop 6.0.1
- Netscape Communicator 6.01
- Macromedia Flash 5.0
- Microsoft Word Excel PowerPoint Outlook 2002
- Network Associates McAfee VirusScan 5.13
- WinZip Computing WinZip 8.0
- Reader 2002SE. Тест моделирует чтение книги «Война и мир» в html-формате с экрана ноутбука. Используется Netscape Communicator 6.01. Результат — Battery Life Rating
- DVD playback 2005. В процессе теста по циклу демонстрируется рекламный ролик BMW продолжительностью 1 час 55 минут с помощью InterVideo WinDVD 6.0. Звук воспроизводится через наушники. Громкость звука, согласно методике разработчика теста, должна быть «достаточной для комфортного прослушивания». Однако при запуске теста громкость автоматически выставляется на максимум. В таком положении и проводится тестирование.
- Wireless browsing 2005. Измерение влияния работы в беспроводной сети на продолжительность автономной работы. Результат — Battery Life Rating. В процессе теста эмулируется работа в Интернет с использованием беспроводного подключения. Тест будет включен в программу тестирования сразу после настройки необходимого для работы сервера.
Кроме того, в отдельный документ, возможно, будут выноситься отчеты, сгенерированные тестом.
Подробнее о работе теста, методике подсчета оценок и других деталях использования MobileMark 2005 можно прочитать в этом документе (формат .pdf, английский язык, ~1 MB).
Тестирование работы от сети. Основной тест — BAPCO SysMark 2004SE. Режим энергопотребления — Portable/Laptop. Тестовые задачи подразделяются на два подтеста — Internet Content Creation и Office Productivity.
- Internet Content Creation. Группа состоит из следующих подтестов.
- 3D Creation. Происходит рендеринг трехмерной модели в bitmap с использованием Descreet 3ds max 5.1 одновременно с созданием веб-страницы в Macromedia Dreamweaver MX. После этого происходит преобразование трехмерной анимации в векторный формат.
- 2D Creation. Редактирование аудио- и видео- информации с использованием Adobe Premiere 6.5 и экспорт готового фильма. В процессе ожидания окончания операции экспортирования производится редактирование полученной в предыдущем пункте картинки .bmp с использованием Adobe Photoshop 7.01 и запись полученного файла. После окончания экспорта фильма производится его редактирование и добавление эффектов программой Adobe After Effects 5.5
- Web Publications. Производится распаковка Zip архива программой WinZip Computing WinZip 8.1 одновременно с редактированием и оптимизацией полученного на первом этапе файла с векторной анимацией в Macromedia Dreamweaver MX. После этого полученный на втором этапе фильм кодируется с использованием Windows Media Encoder 9 в формат, пригодный для трансляции через широкополосный интернет. В заключение производится окончательное редактирование сайта в Macromedia Dreamweaver MX и антивирусное сканирование системы McAfee VirusScan 7.0.
- Office Productivity. Группа состоит из следующих подтестов.
- Communication. Эмулируется получение пользователем почты с использованием Microsoft Outlook 2002. В процессе получения почты, содержащей Zip-вложения, производится антивирусное сканирование системы McAfee VirusScan 7.0. В заключении производится просмотр фрагментов сайта, созданного во время выполнения теста Internet Content Creation, с использование Microsoft Internet Explorer.
- Document Creation. Редактирование документа в Microsoft Word 2002. Создание документа «с голоса», используя программу ScanSoft Dragon NaturallySpeaking 6. Создание презентации в Microsoft PowerPoint 2002.
- Data Analysis. Работа с базой данных Microsoft Access 2002. Архивирование документов с использованием WinZip Computing WinZip 8.1. Импорт результатов обработки запросов в Microsoft Excel 2002 и создание графиков.
Результатом является Performance Rating — производительность ноутбука по сравнению с эталонной платформой. Вычисляется значение рейтинга для каждой группы приложений, рейтинг подтестов и общий рейтинг системы. Каждый потенциальный пользователь может выбрать результаты, интересные именно ему. Замечу, что эта версия тестового пакета одобрена AMD, которая ранее выдвигала претензии к методике расчета производительности в тестах BAPCO. Подробнее о работе теста, методике подсчета оценок и других деталях использования SysMark 2004SE можно прочитать в этом документе (формат .pdf, английский язык, ~1.5MB). К сожалению, на данный момент тестовый скрипт для Adobe Premiere 6.5 нестабильно работает со звуковыми картами стандарта HD Audio в ноутбуках, построенных на чипсете Intel 915M, в результате чего подтест Internet Content Creation не всегда проходит корректно. Надеемся, что эта проблема все-таки будет решена.
В течение некоторого времени параллельно с тестом BAPCO SysMark 2004SE будет использоваться SysMark 2002, работающий стабильно. К сожалению, в этом тесте нет деления на подгруппы, да и версии программ устарели, хотя общая идеология та же.
Тестирование производительности при работе с трехмерной графикой
Основной тест — FutureMark 3DMark03. Для обеспечения результатов используется Patch 3.30. Установки теста — по умолчанию.
Режим энергопотребления — Portable/Laptop. Результаты — 3DMarks для всех разрешений, поддерживаемых ноутбуком. При тестировании новых контроллеров в отдельных случаях в обзоре могут быть указаны значения fps для игр, входящих в тестовый пакет, при параметрах, отличных от установленных по умолчанию (в основном — с разными настройками ). Подробнее о тесте можно прочитать в этом документе (формат .pdf, английский язык, ~1,1MB).
Также при тестировании новых графических контроллеров возможно использование в обзоре результатов, показанных ноутбуком в реальных играх. На наш взгляд, тестирование интегрированных графических контроллеров имеет смысл проводить только один раз — при появлении нового представителя этого семейства.
Тестирование пропускной способности памяти
Тест, подтверждающий (при получении результатов, близких к ожидаемым), что ноутбук собран качественно. В случае, если полученные результаты существенно ниже ожидаемых, можно утверждать, что у тестируемого компьютера есть проблемы. Для тестирования предполагается использовать пакет RightMark Memory Analyzer. Режим энергопотребления — Always On. В обзоре планируется приводить результаты выполнения Quick Tests — значения средней и пиковой пропускной способности ОЗУ при чтении и записи.
Как нам кажется, на данный момент методика позволяет адекватно оценить возможности ноутбука. В дальнейшем набор тестов, возможно, будет расширяться.
