На повестке дня у нас сегодня будет сразу три вопроса: стоит ли тестировать модули памяти "вообще", результаты в каких программах и тестах могут быть показательными в этом деле, ну и конечно же, методом практического отбора из этих теоретически-интересных программ отобрать необходимый и достаточный минимум, который позволял бы достоверно сравнивать модули именно по производительности (остальные параметры: разгонный потенциал, наполнение SPD выяснить довольно просто, что мы обычно и делали в обзорах модулей).
Так надо ли тестировать оперативную память, либо ее производительность на сегодня столь велика, что покрывает любые запросы любых программ в любых режимах (такие мнения иногда приходится слышать)? С теорией тут все однозначно: конечно, надо. Потому как есть очень большая разница между утверждением "отличий в производительности почти нет, с учетом результатов в десяти, ну пусть даже 20 приложениях", в особенности если эти приложения (и условия тестирования) подбирались с тем, чтобы результат зависел от производительности каких-то других компонентов (то есть, чтобы тестировать процессоры, видеокарты и т.п.), и утверждением, что "разницы нет вообще". Вполне очевидно, что те, кого заботит производительность подсистемы памяти, могут иметь дело с задачами, где именно и происходит активное взаимодействие с большими объемами памяти, что на сегодня в первую очередь касается многозадачной среды, хотя и не только ее. Однако, если на практике отклонения окажутся в пределах погрешности измерения, интерес к таким тестам, действительно, будет минимальным. Соответственно, надо либо наглядно продемонстрировать, что есть условия, в которых (от быстрой, емкой и т.п. памяти) есть толк, либо признать, что разницы действительно нет.
Но поскольку условия могут быть очень индивидуальными, "натуралистичная методика" рискует оказаться слишком пространной, громоздкой и все равно малопрактичной, и здесь не жалуемая многими синтетика представляется вовсе не такой уж бесполезной вещью, как например, в случае с тестированиями процессоров. Алгоритмы, используемые в разных программах, действительно сильно различаются, и нигде, скажем, кроме как в самой SuperPi, точно такой же программный код не используется. Соответственно, и нагрузку на те или иные вычислительные блоки процессора, а значит и общую производительность, по результатам в одной-двух программах никак не предскажешь. Но обмен с памятью — величина в большей степени поддающаяся "измерению с линейкой", задержки (в разных режимах) и пропускная способность не зависят от того, из какой программы поступил запрос на чтение или запись данных. Впрочем, мерять так мерять, на синтетике зацикливаться никто не собирается, хотелось лишь отметить, что в случае с тестированием памяти, такие данные представляют собой неплохое подспорье.
На чем тестировать? Выбор ОС не вызывает сомнений лишь в отношении разрядности, ясное дело: 64 битная ОС необходима, ведь 2 ГБ останутся стандартной комплектацией совсем недолгое время, а даже для 4 ГБ 32-битные версии Windows неоптимальны, реально доступный объем памяти оказывается меньше. XP или Vista? С точки зрения тестера лучше бы тестировать в XP, меньше вероятность, что в процесс вмешаются какие-то непериодические фоновые процессы, да и сама по себе 64-битная Vista может почти идеально работать на одной конфигурации и местами чудить на другой (то есть либо сама ОС, либо драйвера еще не доведены до ума). Однако пользователей 64-битной Vista видимо уже сейчас гораздо больше, чем 64-битной XP, да и для актуальности методики, все же логичнее использовать именно самую современную ОС, опять же и игры с поддержкой DirectX 10 исключить из методики по этой причине было бы несправедливо. Более того, мы запускали все тесты в MS Vista, за исключением двух синтетических тестов (Sandra и RMMA), и несмотря на некоторые действительно возникшие сложности отладочного периода, результаты удалось снять вполне корректно (тогда как c XP 64 bit возник один странный казус, который мы еще обсудим).
Что выбрать в качестве платформы? Также особых сомнений не возникает: дабы производительность не упиралась в пропускную способность шины, нужен интегрированный в процессор контроллер памяти. На сегодня это платформа Socket AM2+, ну а «завтра» очевидно под тесты DDR3 придется очень кстати переход на Socket AM3. Формально на эту роль могла бы претендовать и представленная на днях платформа Intel во главе с процессором Nehalem, но очевидно, что интегрированный контроллер памяти для Intel в новинку, вызывает нарекания совместимость с разными модулями памяти, да и собственное поведение контроллера в разных режимах порою удивляет (так что зарегистрированные отклонения могут мало соотносится с различиями в производительности самих модулей). И здесь уж получается не тест памяти, а отлов багов, что все же несколько иной жанр, да и пользователь вправе ожидать, что с этим разберется сам производитель. Кстати, в первой реализации интегрированного контроллера у AMD в свое время тоже наблюдались проблемы с совместимостью, так что ничего ни удивительного, ни особо криминального, мы в таком положении дел не видим. Само собой, и какой-нибудь «раундап», специально заточенных под Nehalem модулей, можно будет провести по той же методике.
Впрочем, каких-либо принципиальных моментов от перехода с DDR2 к DDR3, ждать не приходится. Это именно количественные изменения, увеличение пропускной способности, к сожалению, в той или иной мере "компенсируемое" более высокими задержками. Но, само собою, по мере прогресса модулей, преимущества DDR3 становятся более отчетливыми, и никто не сомневается, что очень скоро DDR3 обгонит DDR2 не только по реальным скоростным характеристикам, но и по соотношению цены и этих самых характеристик.
Однако довольно теории, давайте посмотрим, что покажут тесты. Дабы пример не выглядил академическим, мы отобрали модули не "просто так", а чтобы заодно прояснить некоторые типичные вопросы, возникающие при выборе. Наиболее часто возникает вопрос выбора между модулями от разных производителей, имеющих одинаковую частоту (иногда разные заявленные тайминги), а также разных оверклокерских моделей с разной максимальной частотой. Впрочем, отчего бы иногда не сравнить те же дорогие модули для разгона с максимально простыми, не имеющими никаких радиаторов, поставляемыми в OEM-упаковке модулями, но с объемом вдвое или вчетверо большим? Что, спросите, может быть общего между столь разными вещами? Ну, например, самый важный потребительский параметр: ее величество розничная цена.
Конфигурация и ПО
Тестовый стенд:
- процессор AMD Phenom X4 9850
- системная плата Gigabyte MA790FX-DQ6 на чипсете AMD 790FX
- видеокарта ATI Radeon HD 3870 GDDR4 512 MB
- жесткий диск: 500 GB Seagate Barracuda 7200.10 SATA, 7200 об/мин
Модули памяти:
- Qimonda HYS64T128020EU-2.5-B2 DDR2-800 6-6-6-12 1024 MB х 2
- Kingston KHX6400D2LLK2/2G DDR2-800 5-5-5-12 1024 MB х 2
- AENEON XTUNE AXT760UD00-18DB98X DDR2-1142 5-5-5-12 1024 MB х 2
- Transcend aXeRam TX1200QLJ-2GK DDR2-1200 5-5-5-12 1024 MB х 2
- Qimonda HYS64T5122020EU-25F-A DDR2-800 6-6-6-12 4096 MB x 2
Программное обеспечение:
- ОС Windows Vista Ultimate (64 bit), Windows XP (64 bit), драйверы Catalyst 8.9
- Синтетические программные пакеты (для измерения пропускной способности и латентности памяти) Lavalys Everest 4.60, SiSoftware Sandra 14.20.2008.5, RMMA 2.35
- 7-Zip 4.10b
- кодек XviD 1.0.2
- кодек x264 rev 807
- PCMark Vantage
- 3DMark06 (Normal settings, 1280x1024)
- 3DMark Vantage (Default settings, Performance)
- Supreme Commander (Gas Powered Games) Default settings, встроенный тест
- World in Conflict (Sierra) — DirectX 10, Medium, встроенный тест
- Crysis (Crytek) — DirectX 10, Medium, Crytek Built-in, бенчмарк доступен для скачивания
- Unreal Tournament 3 (Epic Games) — DirectX 10, 5 Details Level, 5 Textures Level, CTF-coret, 1280x1024, демо-бенчмарк доступен для скачивания
Поскольку в стенде использовалась достаточно средняя по современным меркам видеокарта, игровые тесты запускались в пониженном разрешении (1024х768) и средних настройках качества, за исключением Unreal Tournament 3 (1280x1024). Впрочем при установке более мощной карты, растут лишь уровни fps (и по мере усиления карты есть возможность поднять разрешение), на соотношение производительности между модулями памяти этот процесс мало влияет. Все тесты проводились под Windows Vista, за исключением Sandra (имеет поддержку Vista только в коммерческой версии) и RMMA (пока не имеет поддержки этой ОС).
Синтетические тесты (Everest, Sandra, RMMA)
Несмотря на то, что каждый из тестов использует собственные методы для замера пропускной способности, максимальные скорости чтения и записи по версии Everest и RMMA отличаются незначительно. Аналогично дела обстоят и у Sandra (на примере этой программы мы сравнили скорость чтения из памяти при использовании целочисленных регистров процессора, и с задействованием модуля FPU, здесь также наблюдается практическое равенство). Латентность при случайном доступе по измерениям в Sandra и RMMA оказалась выше, чем в Everest. Впрочем, несмотря на отличия в абсолютных значениях, в относительных величинах разногласий между разными тестовыми пакетами не возникло. Иными словами, среди любой пары модулей выбрать «победителя» можно, руководствуясь результатами любого из данных пакетов. Стройность результатов нарушили лишь тесты модулей AENEON под Windows XP 64 bit, то есть оба теста, прогонявшиеся под этой ОС (Sandra и RMMA), дружно показали низкий результат, не сообразующийся с результатами всех остальных тестов. По детальности (разнообразию тестов и режимов) именно в отношении тестирования памяти среди синтетики лидирует RMMA, которой и хотелось бы продолжать пользоваться в дальнейшем, однако для этого нужна поддержка (RT-драйвер) под Vista.
PCMark Vantage
От абсолютной синтетики плавно переходим к программам, претендующим на некую имитацию вычислений в том или ином классе программ. Предубеждение против таких программ велико, и в общем формулируется просто: «Кто знает, что там тестируется…» С другой стороны, PCMark Vantage все же индустриально признанный тест, который не является полностью синтетическим (в отличие от прежних версий этого теста), а имитирует алгоритмы, используемые в реальных приложениях. И если посмотреть на тестирование с чисто утилитарных позиций, наверное, нет ничего зазорного в том, чтобы использовать и такие тесты, лишь бы измерения в них не шли в разрез с тем, что демонстрируют реальные программы. Однако вот на этом пункте претензии к PCMark возникают вполне обоснованные, и по крайней мере, общий балл для сравнения модулей памяти не годится. Убедительная победа самого слабого комплекта из рассмотренных, это, согласитесь, уж слишком экстравагантная позиция, вряд ли имеющая под собой реальное обоснование. Смотрим на результаты в отдельных подтестах и видим, что в таком странном итоге виноваты три последние подтеста, которые явно отреагировали на что-то иное, нежели на характеристики памяти. Едва ли кого заинтересует и игровой подтест, учитывая, что и от самой Futuremark есть более авторитетный пакет для анализа производительности в этой популярной категории приложений. Оставшиеся три результата, в принципе, использовать можно, но лучше в совокупности, не выдирая какой-то один, поскольку совершенно очевидно, что некоторые тесты в большей степени благодарно откликаются на увеличение частоты, а другим важнее максимальный объем. И если присмотреться, то явного несоответствия аппетитам реальных приложений из той или иной категории, в глаза не бросается. Например, при редактировании фотографий для домашнего альбома (Memories Suite) более быстрая память и должна быть важнее максимального объема.
3DMark Vantage
Этот тест критикуют ничуть не меньше, мол в «марках» может быть одно, а в играх совсем другое. Ни в коей мере не пытаясь доказать, что этот тест идеально передает картину прозводительности, например, видеокарт, выскажем все же крамольную мысль, что резких противоречий с усредненным результатом в более или менее репрезентативной подборке игр, этот тест не демонстрирует. Иными словами, карта, которая лучше выступает в играх, почти всегда и в этом тесте получает более высокую оценку. За такие идеи, автора, конечно, сразу закидают шапками, но желающие вполне могут самостоятельно в этом убедиться, взяв результаты из любого выпуска 3D Speed. Впрочем, повторимся, агитировать использовать этот тест вместо реальных игр для оценки видеокарт, действительно, не совсем корректно, хотя бы потому, что покупателям интересно не только узнать насколько одна карта сильнее другой, но и посмотреть, насколько сильнее не в абстрактных попугаях, а в привычных кадрах в секунду (ну а процессорный рейтинг и сам подход тестирования процессоров в этом пакете и подавно далек от действительности).
Другое дело: тесты памяти, сымитировать нагрузку на которую в играх, в общем-то не такая уж сложная задача. Поэтому мы решили эмпирически проверить: как общий рейтинг в этом тесте соотносится с результатами в реальных играх при смене модулей памяти. И собственно результат не вызывает какого-то отторжения, точно также, как и 3DMark, игры проголосовали за повышение частоты, и точно также (что совершенно неожиданно, но оказалось подтверждено и другими тестами, за исключением синтетики) невзлюбили данный конкретный комплект от Kingston.
Игры
Как уже отмечалось, в играх более высокая частота оказалась наиболее привлекательным фактором. Однако прибавку кадров в секунду сложно назвать принципиальной, совершенно очевидно, что графическая подсистема для современных игр является наиболее узким местом, и здесь любой апгрейд видеокарты гарантированно принесет более заметный прогресс. Впрочем, такой вывод не означает, что от этой категории тестов можно отказаться, разница все же есть, и проявляется даже в таких условиях. Ну а усилить видеокарту и, может быть, поднять разрешение, возможно, есть резон, чтобы стенд выглядел современно. Но вот ставить самую мощную карту, выставив при этом низкое разрешение, явно не к чему, потому как «реальные» тесты не должны быть наполовину реальными (то есть вроде бы и взяты настоящие игры или программы, но вот использованные разрешения и настройки мало кому придет в голову использовать в жизни), в такой ситуации они ни чем не лучше синтетики.
Архиваторы
Здесь даже и комментировать нечего, повышение частоты памяти воспринимается бурными аплодисментами. И снова видим весьма странный с теоретической (и синтетической) точки зрения проигрыш второго комплекта DDR2-800 первому.
Многозадачная среда
Во всех играх при тестировании с 2 ГБ комплектами памяти обнаружилось заметное и на глаз, и по тестам проседание производительности, тогда как с 8 ГБ комплектом результаты фактически возвращались к исходным (как будто ничего на фоне игры и не запущено). Что же, наконец-то, соскучившийся по реальной работе четырехъядерный процессор получил возможность показать себя! Впрочем, для UT 3 неплохой и почти равнозначной компенсацией оказалось не только повышение объема, но и увеличение частоты, так что и в этой категории тестов нельзя сказать, что все скучно и тестировать нечего. Само собой, рекомендация поставить больше памяти гарантированно подходит, но судя по намерениям производителей, совсем скоро, всем заинтересованным в высокой производительности подсистемы памяти и придется выбирать исключительно среди разных комплектов большого объема.
Выводы
Главный вывод, пожалуй, наиболее банальный: тестировать память надо. :) Во всяком случае, даже во взятой весьма небольшой и совершенно произвольной подборке, обнаружилась пара модулей, для которых, несмотря на вроде бы однозначное при взгляде на заявленные характеристики, преимущество второго над первым, результаты тестов оказались вовсе не такие однозначные. Пусть даже такие случаи являются исключением, но ведь и большинство тестов других современных компонентов, будь то системные платы или видеокарты и основаны на регистрации отклонений от неких референсных характеристик (наблюдающихся среди равных по цене устройств аналогичного класса), иногда в лучшую, иногда в худшую сторону.
Что касается подбора тестов, то среди синтетических, регистрирующих пропускную способность и латентность, фактически можно выбрать любой, поскольку никаких принципиальных расхождений в результатах не возникло. Само собою, методы измерения в разных тестах различаются, поэтому сравнивать результаты из Sandra, скажем, с RMMA, некорректно. Но если какой-то модуль оказывался быстрее другого по версии одной программы, то это подтверждали и остальные. За исключением одного комплекта, разногласия в отношении которого возникли даже не между разными пакетами, а в зависимости от используемой ОС. В данном случае просто нечего добавить, все прочие тесты проводились только под Vista, и результаты в них подтвердили мнение Lavalys Everest о том, что производительность комплекта AENEON ближе к Transcend нежели к Kingston. И либо действительно результаты под 64-битной XP оказались хуже, либо сама XP не сдружилась в данном случае с процессом тестирования (и чего-то как-то напортила). Для чего требуется дальнейшее исследование, хотя сначала хотелось бы понять интересна ли еще сама 64-битная XP кому-либо в качестве основы для тестирования памяти.
Из остальных тестов сомнений не возникает в отношении архиваторов (здесь смена памяти может вполне по эффекту сравниться со сменой процессоров). Представлять игры, откровенно говоря, вполне допустимо поручить 3DMark Vantage, во всяком случае, «мнение» этого пакета оказалось действительно близко к расстановке модулей, которую продемонстрировали сами игры. Здесь надо только учесть, что разница, действительно невелика и при сравнении модулей от разных производителей с одинаковыми формальными параметрами даже такой чувствительный прибор, как 3DMark может показать равенство. Ну так в таком случае и в играх никаких отличий не обнаружится. Отдельные тесты из PCMark, претендующие на иллюстрацию ситуации в программах, относящихся к той или иной категории общественно-значимого ПО, тоже не идут в разрез с результатами всех остальных тестов, то есть на смену модулей откликаются предсказуемым образом. Однако есть и подтесты, которые явно меряют «что-то не то», и ориентироваться на общий балл, пожалуй, не стоит.
Наконец, тестирование в многозадачном режиме продемонстрировало в первую очередь важность большого объема памяти, если вы действительно хотите получить максимум производительности от мощного многоядерного процессора. Соответственно, и различия в этом режиме, будет уместно исследовать лишь для комплектов большого объема (вероятно 4 и более гигабайт). В перспективности таких тестов сомневаться не приходится (если уже сейчас четырехъядерник можно приобрести за $150, а трехъядерник и вовсе за $100, доля таких процессоров неизбежно будет расти, и пользователи вполне естественно захотят знать, что они смогут делать из того, что раньше лучше было и не пытаться). Ну а как имитировать многозадачную среду (какие, может быть, антивирусы, брандмауеры, кодировщики, что-то еще на фоне запускать) остается вопросом, открытым для обсуждения.
Благодарим компанию NEO Group за предоставленные для тестирования модули памяти
