сокращенной версии методики тестирования
и одного не совсем традиционного исследования производительности
Тема тестирования готовых систем уже не раз поднималась на страницах нашего сайта. Однако до сих пор мы тестировали в основном системы достаточно «серьезные» — как по размерам, так и по оснащению. Между тем, новое поколение, «выбравшее ноутбуки», уже вполне вошло во взрослый покупательский возраст, и даже по отношению к настольным ПК начинает предъявлять те же требования: миниатюрность, легкость, бесшумность. С другой стороны, следует признать, что сектор традиционных «больших [черных] ящиков» в последнее время является, объективно говоря, довольно унылым зрелищем скорее полем борьбы за максимальную экономию на комплектующих, чем полигоном для ярких, интересных, а подчас и неоднозначных решений, требующих грамотного анализа. Глядя на все это со стороны, мы решились на эксперимент: провести серию тестирований миниатюрных систем нескольких отечественных производителей. В конце концов, что-то они про них думают, как-то позиционируют, прикидывают запросы потенциальных покупателей, моделируют сценарии использования… Наверное :)
Данная статья — это еще не тестирование, а скорее, развернутое вступление к серии тестов. Впрочем, даже тем, кого выбранная нами тематика привлекает мало, мы не советуем закрывать страничку браузера: решив совместить новое с гарантированно полезным, мы ввели в состав этого материала небольшое, но достаточно интересное исследование…
Методика тестирования
Необходимость в методике тестирования, предназначенной для, скажем так, «не очень быстрых» систем, стала очевидной уже довольно давно. И суть даже не в том, что тестировать скорость работы Autodesk Maya или количество fps в Crysis: Warhead на встроенной графике AMD A4 или Intel Celeron/Pentium — занятие довольно долгое. Суть в том, что оно еще и бессмысленное: 5 fps не в 3 раза меньше, чем 15, как будут утверждать нам диаграммы. На самом деле, 5 и 15 fps — это одно и то же, потому что играть все равно невозможно. Исходя из вышесказанного, а также из того, что остальное используемое в нашей стандартной методике тестирования ПО может быть запущено практически на любом компьютере с жестким диском достаточного объема и x86-64-совместимым процессором, велик был искус ограничиться изъятием из стандартной методики тестирования исключительно приложений, производительность в которых зависит от мощности GPU. Однако вспомнив пословицу «простота хуже воровства», мы все-таки решили задуматься не о том, как бы минимизировать изъятия из методики (цель сама по себе, если задуматься, бессмысленная), а о том, что́, собственно, мы собираемся тестировать, и какова основная модель использования подобных компьютеров.
И вот здесь нам сразу вспомнился тот период, когда, вместе со средним баллом по всем тестам сразу, в нашей методике существовало еще два средних балла: «домашний» и «профессиональный». В методике тестирования процессоров от такого разделения впоследствии было решено отказаться, однако почему деление, не подходящее для процессоров, обязательно не подойдет и для компьютеров тоже? Вовсе не факт! Поэтому перед окончанием действия методики 2011 года мы решили провести эксперимент: сформировать на ее основе сокращенный вариант, сделанный по принципу отбрасывания всех игровых и профессиональных приложений и предназначенный специально для тестирования офисных и мини-ПК, и выпустить серию сравнений на базе этой новой методики. Способ отбора тестов проще и нагляднее всего представить, глядя на список приложений, используемых в методике образца 2011 года, часть из которых «вычеркнута». Примерно вот так:
Autodesk Maya;Autodesk 3ds max;PTC Creo Elements/Pro;SolidWorks;NewTek Lightwave 3D;- 7-Zip;
- WinRAR;
- dBpoweramp Music Converter;
Intel Parallel Studio;Microsoft Visual Studio;MinGW;MAPLE;MATLAB;Mathematica;- ACDSee;
- Corel PaintShop Photo Pro;
- ImageMagick;
- GIMP;
Adobe Photoshop;Adobe Illustrator;CorelDraw Graphics Suite;Adobe Premiere;Sony Vegas Pro;- Microsoft Expression Encoder;
- x264;
- XviD;
- ABBYY FineReader;
- Microsoft Office Professional Plus;
- Microsoft Internet Explorer;
- Mozilla Firefox;
- Opera;
- Google Chrome;
- SPECjvm2008;
Aliens vs. Predator;- Batman: Arkham Asylum;
Crysis: Warhead;F1 2010;Far Cry 2;Metro 2033;- Media Player Classic Home Cinema;
- VLC media player.
В результате у нас в списке остались истинно «домашне-любительские» приложения: упаковка и распаковка, кодирование видео и аудио (но без тяжелых профессиональных Adobe Premiere и Sony Vegas Pro), офисное ПО, обработка графики (но, опять-таки, только простенькие любительские инструменты, без Adobe Photoshop), браузеры, Java (набрести на Java-апплет в процессе серфинга по интернету — не такое уж редкое явление), воспроизведение видео. Одну игру — Batman: Arkham Asylum — мы оставили «вне конкурса» (ее результат не влияет на итоговый балл) — для тех, кому совсем уж невмоготу без игр, и очень хочется знать, сколько все же было fps: 5 или 15? :) Кроме этого, также вне конкурса, но не без пристального внимания с нашей стороны, остался тест на параллельное исполнение нескольких приложений. Правда, в соответствии с общей концепцией отказа от использования профессиональных пакетов, мы исключили их и из его состава — таким образом, тест multitasking в его облегченной версии состоит из трех задач: архивирование с помощью 7-Zip, обработка фотографий с помощью GIMP и кодирование видео с помощью VirtualDub/XviD.
Кроме того, нам показалось вполне назревшим шагом несколько расширить методику тестирования, коль уж она предназначена для готовых решений. Поэтому в качестве эксперимента введены следующие дополнительные тесты:
- Тестирование производительности дисковой подсистемы (HDD/SSD) с помощью пакета Intel NASPT (первые 5 паттернов, относящиеся к HD-видео).
- Исследование с помощью того же пакета производительности сетевой подсистемы (Ethernet и, если входит в состав решения, Wi-Fi). Выбор для этих целей того же пакета, что и для тестирования скорости диска, позволяет в том числе сопоставлять результаты тестов между собой — что может быть нелишним как для сравнения скорости гигабитного Ethernet с локальным диском, так и для сравнения «Ethernet vs. Wi-Fi».
- Дисковый подтест из пакета PCMark Vantage — как один из наиболее адекватных известных нам «синтетических» тестов производительности дисковой подсистемы. Вполне возможно, впоследствии дублирование одного и того же теста двумя пакетами будет признано нецелесообразным, но пока мы сочли возможным чуть перестраховаться и собрать статистику по обоим.
Таким образом, надеемся, нам удастся предоставить нашим читателям несколько больше информации о производительности и особенностях тестируемых систем, чем раньше.
Как и всегда, производительность будет оцениваться по группам тестов, в баллах, где за 100 баллов взята производительность некой референсной для данной версии методики системы. И здесь мы решились на еще одно революционное действие: референсную систему для сокращенной версии методики мы сделали отдельную, отличную от основной.
Разумеется, как и в случае с основной методикой, при сравнении производительности различных готовых систем между собой мы будем публиковать полные результаты тестов в виде таблицы в формате Microsoft Excel.
Референсная минисистема
Проще всего было определиться с процессором: как мы недавно выяснили, нижняя двухъядерная модель обновленного ряда Celeron (уже на ядре Sandy Bridge) — G530 — как раз обладает тем необходимым минимумом производительности, который позволяет без задействования аппаратного ускорения видеоакселератора (DXVA) проигрывать видео HD-качества без рывков и прочих артефактов. Ну а поскольку минисистемы могут выполнять роль отнюдь не только офисного компьютера, но и домашнего HTPC, данное свойство, в особенности для референсной системы, нам показалось весьма полезным. Процессоры AMD, находящиеся в том же ценовом диапазоне (а из новых это исключительно A4, даже не A6), демонстрируют, по данным наших тестов, значительно меньшую общую производительность, поэтому выбор был очевиден.
Дискретная видеокарта, разумеется, не предусматривается, т. к. для миниатюрной системы является явным исключением из общего правила.
Объем памяти — 4 ГБ — подбирался из соображений разумной достаточности с учетом цены. 2 ГБ уже несущественно дешевле четырех: на момент написания статьи — порядка 300 рублей разницы. А 4 ГБ памяти вполне достаточно для большинства задач (тем более тех, с которыми придется справляться минисистеме), и при этом решение установить 8 ГБ вместо четырех обойдется уже в лишних 600-700 рублей.
Жесткий диск в компактном корпусе должен удовлетворять прежде всего двум критериям: невысокий нагрев и относительная бесшумность работы. Кроме того, если мы подразумеваем в том числе ориентацию на HTPC, он должен быть достаточно емким. Старый добрый и уже достаточно проверенный временем с точки зрения надежности Western Digital WD10EADS (SATA-II, 1 ТБ) показался нам вполне подходящим под это определение.
Что же касается системной платы, то совершенно очевидно, что это должно быть некое миниатюрное решение формата Mini-ITX на базе чипсета Intel H61 (а какого еще, спрашивается, при таких условиях?), обладающее при этом функциональностью, достаточной для того, чтобы удовлетворить не только стандартного офисного пользователя, но и привередливого домашнего «мультимедийщика». По некотором размышлении (ни на секунду не забывая о цене вопроса), мы остановились на Gigabyte H61N-USB3 — ввиду очень хорошей функциональности при достаточно гуманной стоимости. Судите сами:
d-Sub+DVI+HDMI — на любой вкус; 4× USB 2.0, 2 × USB 3.0; Gigabit Ethernet, оптический и коаксиальный S/PDIF-Out, eSATA. Нам кажется, даже са́мого матерого HTPC’шника такой набор должен устроить. Что же касается всего 3 аналоговых гнезд звука, то этого более чем достаточно для гарнитуры, а для остального — зачем, если есть S/PDIF и HDMI?
Что же касается процессорного кулера, то нам очень по душе пришелся простенький, недорогой, очень компактный, низкопрофильный Cooler Master DP6-8E5SB-PL-GP. Регулировать обороты (PWM) он умеет, а сверхспособностей по охлаждению для выбранного нами Celeron G530 явно не требуется.
Небезынтересный вопрос
Разумеется, следовало провести хотя бы один тест на референсной системе, чтобы получить эквивалент производительности, равный 100 баллам. Однако после проведения этого тестирования мы призадумались: а все-таки, правильно ли было принято решение относительно объема ОЗУ? Потом автор вспомнил, что буквально месяц назад задавался тем же вопросом относительно своего собственного компьютера, а также собираемого им для одного знакомого… и понял, что ответа-то он, собственно, и не знает! Есть некое «общее мнение», есть кое-какая статистика по объемам памяти в современных готовых системах и ноутбуках, есть чисто эмпирически обосновываемое «чутье»… а больше ничего нет. Да и поиски в интернете на полнообъемное, аккуратно и качественно выполненное исследование как-то не вывели. Почему бы не исправить положение? Итак, решено: выполняем серию тестов с целью получить ответ на вопрос, сколько памяти нужно устанавливать в офисный или домашний неигровой миникомпьютер, не предназначенный для решения сложных профессиональных задач. Количество вариантов было решено исследовать максимально разумное: 1, 2, 4 и 8 ГБ. Казалось бы, 1 ГБ можно было исключить… но, как показала практика — даже правильно, что это не было сделано. Итак, давайте поинтересуемся ответами на небезынтересный вопрос…
Результаты тестов
Что ж, у нас не так много участников тестирования и результатов, чтобы давать комментарии к каждой диаграмме, поэтому для начала давайте просмотрим их единым блоком, а потом попробуем сформулировать общие впечатления от увиденного. Оговоримся, что тесты референсной системы представлены в статье только «процессорной» частью, так как о влиянии объема памяти на дисковую и сетевую производительность лучше справиться у астрологов.
Основные результаты
Пожалуй, главным сюрпризом является то, что целых три группы приложений (кодирование аудио, растровая графика, офисное ПО) вообще отказались хоть сколько-нибудь заметным образом реагировать на последовательное пошаговое уменьшение размера ОЗУ с 8 до 1 ГБ. И это, заметьте — несмотря на то, что в группе офисного ПО присутствует вполне солидный FineReader, а в группе растровой графики — тоже немаленькие ACDSee и Corel PaintShop. Впрочем, не выдыхайте с облегчением — чуть позже у нас найдутся для вас интересные детали, приоткрывающие завесу над тайной такого безразличия.
В стане неравнодушных :) мы видим два различных подхода: группа упаковки и распаковки демонстрирует стабильный рост скорости с увеличением количества памяти (или, если кому-то больше нравится, наоборот — стабильное ее снижение при уменьшении). Причина тому, как нам кажется, довольно банальна: фактически, компьютер реагирует не на увеличение объема ОЗУ как места для размещения программ и их данных, а на увеличение как раз незанятого объема ОЗУ, которое можно отвести под дисковый кэш. Не секрет, что архиваторы достаточно много общаются с диском (оттуда берут данные, туда же записывают результат их обработки), поэтому кэширование операций, по всей видимости, способно сильно ускорить работу этого типа программ. Малейшие сомнения в правоте этой гипотезы улетучиваются при анализе подробных результатов: наибольший эффект увеличение объема оперативной памяти оказывает на подтесты… распаковки!
Что же касается группы кодирования видео, то здесь мы наблюдаем даже еще более интересную ситуацию, чем можно сперва подумать, посмотрев на диаграмму. Дело в том, что «провал» системы с 1 ГБ ОЗУ определяется даже не совокупностью результатов, а результатом всего одного теста! Кодирование в VirtualDub с помощью кодека XviD с 2 ГБ памяти заняло 13 минут 45 секунд, а с 1 ГБ — 45 минут 46 секунд! Это, пожалуй, единственный за все тестирование случай, когда программе реально не хватало памяти: сильнейшее «свопление» было видно (да и слышно тоже…) невооруженными органами чувств.
Интересные подробности, оставшиеся «за кадром»
И все-таки: бог с ней с группой «кодирование аудио» — эта задача уже давно стала настолько примитивной, что данная группа продолжает входить в каждую новую методику тестирования в основном потому, что мы забываем ее оттуда выкинуть :); но офисное ПО, но программы для обработки цифровых фотографий — неужели они и в самом деле одинаково быстро работают и на 1 ГБ памяти, и на 8?!
Разумеется, это не совсем так. Для того, чтобы понять, что именно не так, нужно представлять себе, как организованы измерения в рамках нашей методики тестирования. А организованы они таким образом, что ни один тест не выполняется меньше двух раз: специальный механизм (основанный на аккумуляции откровений из тайных доктрин Блаватской, Монте-Кристо и Калиостро) анализирует все ранее полученные результаты и принимает решение о том, следует ли для уточнения картины запустить тест еще раз, или полученных результатов уже достаточно, чтобы вычислить финальный. Для нас же главное здесь в том, что любой тест гарантированно выполняется никак не менее двух раз. Именно эти прогоны нас и заинтересуют, и в частности — сопоставление результатов первого запуска с результатами второго. Далее на диаграммах указана именно разница между первым и вторым (хронологически) результатом в соответствующих единицах измерения.
Как видите (мы отобрали 3 самых ярких примера), иногда на системе с 1 ГБ памяти первый результат существенно хуже, чем второй. О чем это свидетельствует, вы наверняка уже догадались сами: памяти все-таки не хватает, поэтому часть ресурсов (в основном — процессорного и дискового) во время первого запуска уходит на «выбрасывание» в своп всего лишнего, мешающего функционированию основной задачи, оптимальное размещение данных в дисковом кэше (который не может похвастать большой величиной) и прочие «оптимизационные моменты». Таким образом, все-таки нельзя говорить о том, что «даже с 1 ГБ ОЗУ под Windows 7 вполне уютно» — если, конечно, вы не собираетесь каждое действие выполнять по 2 раза. :) Ну и, разумеется, данный эффект должен лишь усилиться, если вы будете держать в запущенном состоянии не только одну, в данный момент работающую программу, но и все остальные — что, в общем-то, совершенно типично для обычной работы за компьютером.
Опциональные тесты
«Памятелюбивость» игрового ПО ни для кого не является секретом. Забавно лишь то, что она проявилась даже на фоне такого медленного GPU, как встроенный в Celeron G530. Что же касается результатов теста «многозадачное окружение», то мы же помним, что в него в качестве одной из задач входит VirtualDub+XviD — и это сразу все объясняет…
Интересные факты, не относящиеся к производительности
Эти веселые картинки, к сожалению, не последствия применения фильтров Adobe Photoshop из группы «Artistic», и не рисунки автора (холст, масло) на произвольную тему. Это скриншоты из Media Player Classic Home Cinema и VLC media player. Такую своеобразную «импрессионистскую» манеру подачи кадра при воспроизведении фрагмента фильма «Железный человек» этим вполне безобидным программам придало, безусловно, сочетание драйверов встроенной в процессор графической подсистемы Intel GMA HD и DXVA-декодера MPC. Сомнений в этом нет никаких, так как при отключении использования DXVA картинка сразу же становится нормальной. Так что тест на «HTPC’шность» наша референсная система пока прошла условно: с одной стороны, вычислительной мощности процессора вполне хватает для того, чтобы воспроизводить HD-видео с помощью чисто программного декодирования, с другой — с аппаратным наблюдаются явные проблемы. Пожелаем Intel поскорее устранить эти, будем надеяться, чисто драйверные «глюки».
Заключение
С нашей точки зрения, пока что эксперимент выглядит вполне удачным. Сокращенная методика тестирования позволяет в приемлемые сроки тестировать производительность слабых систем, появление адекватного им по производительности референса поможет более аккуратно сравнивать между собой (а не с достаточно мощными конфигурациями, которые в основном тестируются в процессорном разделе) готовые миниатюрные решения, а отказ от попыток оценивать встроенную графику в каком-либо численном выражении лично автору кажется давно назревшим решением. Пробная обкатка методики, пусть и на одной референсной системе, надеемся, позволила некоторым читателям получить ответ на давно волновавший их вопрос, ну а сравнение между собой реальных миникомпьютеров различных отечественных производителей вас ждет в самом ближайшем будущем.
