Основные предпосылки
Методика тестирования процессоров, что очевидно, предназначается для тестирования производительности современных x86(-64) CPU с точки зрения их быстродействия, и формулировки определённых выводов, базирующихся на полученных результатах. В данном конкретном случае, она основывается на следующих предположениях:
- такая характеристика, как усреднённая производительность указанных выше типов процессоров, может быть определена опытным путём;
- она может быть определена при условии тестирования производительности данных процессоров в максимально возможно идентичных условиях на одном и том же наборе программных тестов;
- она является средним геометрическим от всех полученных в процессе тестирования результатов, с одинаковыми весовыми коэффициентами.
- она вычисляется исключительно на основании результатов тех тестов, которые были проведены в рамках данной методики, и, таким образом, является величиной одноверменно объективной (основывающейся на результатах объективных тестов) и субъективной (вычисленной на основании результатов именно и только тех тестов, которые были отобраны составителями данной методики).
Выражаясь более просто, всё вышеперечисленное можно сформулировать так:
- Наша методика тестирования производительности x86(-64) процессоров базируется на том наборе тестов, которые мы сочли нужным в неё включить. Таким образом, мы заранее отказываемся от попыток сравнивать полученные нами общие результаты и выводы из них с результатами и выводами, сделанными на базе других методик.
- Наша методика базируется на том принципе, что любой результат, полученный в результате тестирования — равнозначен любому другому результату. Никаких «весовых коэффициентов» — все результаты, сколько бы их ни было получено, равны между собой.
- Условия тестирования должны быть, в идеале, абсолютно идентичными. Если это не так — они должны быть максимально идентичными, насколько это возможно. Оценка того, насколько это в действительности возможно, и какой вариант является максимальным приближением к обозначенному идеалу — является прерогативой нашей тестовой лаборатории.
- Windows XP Professional x64 edition SP1;
- все доступные на 1 января 2007 года патчи и апдейты к данной ОС;
- доступные на 1 января 2007 года релизные версии драйверов для используемого в тестировании аппаратного обеспечения (если таковые являлись доступными на указанный момент, иначе — первые доступные релизные версии);
- доступные на 1 января 2007 года релизные версии BIOS для используемого в тестировании аппаратного обеспечения (если таковые являлись доступными на указанный момент, иначе — первые доступные релизные версии);
- указанные ниже версии основного ПО и бенчмарков.
Неизменяемое (для десктопной версии методики):
- Винчестер: Samsung SP1614C
- Контроллер SATA: Promise SATAII150 TX2plus
- Память типа DDR-400:Corsair CMX1024-3500LLPRO
- Память типа DDR2-800: Corsair CM2X1024-6400
- Видеокарта: Gigabyte GeForce 7800GTX 256 MB
- Блок питания: Chieftec GPS-550AB A
Изменяемое (для десктопной версии методики):
- Системная плата: наиболее подходящая для исследуемого CPU;
- Кулер: поставляемый в комплекте (предпочтительно), или рекомендованный (сертифицированный) производителем, или на наш выбор (ввиду недоступности первого или второго варианта).
Примечание относительно использования
данной методики не на десктопах
Разумеется, при тестировании в рамках данной методики устройств, не допускающих применение «неизменяемых» комплектующих (к примеру, ноутбуков или готовых систем), результаты также могут быть получены, и даже в известной степени могут сравниваться между собой. Однако, безусловно, для сравнительного тестирования процессоров, полученные таким образом баллы использоваться не могут. Это уже будут просто результаты сравнения готовых систем, в той или иной мере «заточенные» под исследование производительности процессоров. Задействуемые тесты
Пакеты трёхмерного моделирования
Основное ПО: Autodesk 3ds Max 9 x64 edition
Бенчмарк: SPECapc for 3ds Max 8
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, Direct 3D API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: отдельные баллы по скорости интерактивной работы и рендеринга.
Тип нагрузки: в основном — процессор, 3D-акселератор, менее значительно — память.
SMP-оптимизация: судя по результатам тестов — только рендеринг.
Основное ПО: Autodesk Maya 8.5 x64 edition
Бенчмарк: SPECapc for Maya 6.5
Дополнительный бенчмарк: сцена для рендеринга
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Дополнительный бенчмарк: рендеринг статической сцены.
Результаты: отдельные баллы GFX, I/O, CPU, общий балл, время рендеринга.
Тип нагрузки: в основном — процессор, 3D-акселератор, менее значительно — память.
SMP-оптимизация: судя по результатам тестов — только рендеринг.
Основное ПО: NewTek Lightwave 3D 9 x64 edition
Бенчмарк: сцена для рендеринга
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: рендеринг статической сцены.
Результаты: время рендеринга.
Тип нагрузки: в основном — процессор.
SMP-оптимизация: судя по результатам тестов — только рендеринг.
CAD/CAE пакеты
Основное ПО: MATLAB R2006a (7.2.0.232) x64 edition
Бенчмарк: встроенный
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: вычисление различных типов функций: LU, FFT, ODE, Sparse, 2D, 3D.
Результаты: время исполнения каждого пакета функций (см. выше).
Тип нагрузки: в основном — процессор.
SMP-оптимизация: де-факто — не обнаружена.
Основное ПО: PTC Pro/ENGINEER Wildfire 2.0
Бенчмарк: SPECapc for Pro/ENGINEER Wildfire 2.0
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: многочисленные, мы учитываем только общий балл.
Тип нагрузки: процессор, 3D-акселератор, память, немного — жёсткий диск.
SMP-оптимизация: де-факто не обнаружена.
Основное ПО: SolidWorks Corporation SolidWorks 2005
Бенчмарк: SPECapc for SolidWorks 2005
Класс ПО: профессиональное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75, OpenGL API.
Суть бенчмарка: скрипт, имитирующий работу реального пользователя в программе.
Результаты: многочисленные, мы учитываем только общий балл.
Тип нагрузки: процессор, 3D-акселератор, память, немного — жёсткий диск.
SMP-оптимизация: де-факто не обнаружена.
Пакеты для работы с растровой графикой
Основное ПО: Adobe Photoshop CS2 (9.0)
Бенчмарк: собственная разработка iXBT.com
Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: скрипт, задействующий наиболее частые операции и много фильтров.
Результаты: время исполнения команд по группам, общее время исполнения.
Тип нагрузки: процессор, память, немного — жёсткий диск.
SMP-оптимизация: местами (некоторые операции, некоторые фильтры).
Компиляция
Основное ПО: Microsoft Visual Studio 2005 Professional
Бенчмарк: компиляция пакета MySQL Community Server 5.0.33
Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: компиляция большого проекта (final build).
Результаты: время компиляции.
Тип нагрузки: процессор, память, немного — жёсткий диск.
SMP-оптимизация: по утверждению производителя, есть.
Веб-сервер
Основное ПО: Apache HTTP Server 2.2.4 for Windows
Бенчмарк: встроенный бенчмарк + 3 нагрузочных файла
Класс ПО: профессиональное, иногда используется любителями.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: создание заданного типа нагрузки на сервер.
Результаты: кол-во отработанных запросов в секунду (малый, средний, большой файл).
Тип нагрузки: процессор, память.
SMP-оптимизация: отличная.
Синтетические и полусинтетические бенчмарки
Основное ПО: CPU RightMark 2005 Lite (1.3) x64 edition
Бенчмарк: встроенный
Класс ПО: специально предназначенное для бенчмаркинга.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: расчёт физической модели и рендеринг её в реальном времени.
Результаты: кол-во кадров в секунду — рассчитанных, отрендеренных, всего.
Тип нагрузки: процессор.
SMP-оптимизация: отличная.
Упаковка данных
Основное ПО: WinRAR 3.62
Бенчмарк: упаковка набора файлов (BMP+DBF+DLL+DOC+PDF+TXT)
Класс ПО: универсальное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: упаковка файлов распространённых форматов.
Результаты: время упаковки.
Тип нагрузки: процессор, память (почти поровну).
SMP-оптимизация: присутствует.
Основное ПО: 7-Zip 4.42 x64 edition
Бенчмарк: упаковка набора файлов (BMP+DBF+DLL+DOC+PDF+TXT)
Класс ПО: универсальное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: упаковка файлов распространённых форматов.
Результаты: время упаковки.
Тип нагрузки: процессор, память (почти поровну).
SMP-оптимизация: присутствует.
Программы оптического распознавания
Основное ПО: ABBYY FineReader 8.0 Professional Edition
Бенчмарк: распознавание многостраничного PDF-документа
Класс ПО: любительское, офисное.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: преобразование многостраничного PDF-документа в plain-текст.
Результаты: время преобразования.
Тип нагрузки: процессор, память.
SMP-оптимизация: в самом пакете — есть, в используемом режиме — нет.
Кодирование аудиоданных
Основное ПО: LAME 3.97, Monkey Audio 4.01, OGG Encoder 2.83,
Windows Media Encoder 9 x64 edition
Бенчмарк: кодирование WAV-образа диска Jacques Loussier Trio
«The Best of Play Bach»
Класс ПО: любительское.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: кодирование WAV-источника перечисленными кодеками.
Результаты: время кодирования для каждого кодека.
Тип нагрузки: в основном — процессор, меньше — память.
SMP-оптимизация: только в Windows Media Encoder 9.
Кодирование видеоданных
Основное ПО: Canopus ProCoder 2.01.30, DivX 6.4,
Windows Media Video 9 VCM, x264 v.604, XviD 1.1.2
Бенчмарк: кодирование файла в формат MPEG2,
кодирование файла в формат MPEG4
Класс ПО: полупрофессиональное и любительское.
Условия тестирования: разрешение десктопа — 1280x1024x32@75.
Суть бенчмарка: кодирование файлов перечисленными кодеками в форматы MPEG2 и MPEG4.
Результаты: время кодирования для каждого кодека.
Тип нагрузки: в основном — процессор, меньше — память.
SMP-оптимизация: отсутствует в кодеке XviD, наилучшая — в Canopus ProCoder.
Трёхмерные компьютерные игры
Основное ПО: F.E.A.R., Half-Life 2, Quake 4, Call of Duty 2, Serious Sam 2
Бенчмарки: встроенные, для HL-2 и Quake 4 — собственные
Класс ПО: любительское.
Условия тестирования: полноэкранные разрешения от 800x600(x32@75) до 1280x1024+AA.
Суть бенчмарка: имитация реального игрового процесса (с некоторыми оговорками).
Результаты: среднее количество кадров в секунду.
Тип нагрузки: в основном — 3D-акселератор, меньше — процессор, память.
SMP-оптимизация: в HL-2 и F.E.A.R. — отсутствует.
Измерения, не относящиеся к производительности
Определение приблизительной величины потребления процессора
Условия тестирования: под полной нагрузкой и в полном покое.
Суть бенчмарка: измерение энергопотребления процессора.
Результаты: энергопотребление CPU при максимальной нагрузке и в состоянии покоя.
Тип нагрузки: процессор.
Ввиду того, что данный тип тестирования является новым для нашей тестовой лаборатории, мы сочли нужным включить в данный материал более подробное описание методики. Принцип измерения потребляемой мощности, в данном случае, основан на известном законе Ома, а именно I=dU/R (1). В нашем случае, силу тока (I), необходимую для вычисления потребляемой мощности, мы получаем, измерив падение напряжения (dU) на измерительном шунте сопротивлением (R) 0,025 Ом, после чего подставив имеющиеся значения в формулу (1) получаем действующее значение силы тока в амперах. После чего, воспользовавшись одной из старейших формул электротехники, а именно P=UI, мы вычисляем значение потребляемой мощности из разъема ATX12V. В нашем случае падение напряжения на шунте (dU) измеряет мультиметр, расположенный на фотографии справа, а действующее значение напряжения в цепи (U) – мультиметр слева. В ходе тестирования напряжения измеряются цифровыми TRMS-мультиметрами UT60E.
Очевидный недостаток данной методики состоит в том, что измеряется, де-факто, не энергопотребление CPU, а энергопотребление VRM, питающего CPU, причём мы исходим из разумного, но реально не могущего быть подтверждённым предположения о том, что VRM запитан исключительно от разъёма ATX12V, и, в свою очередь, от разъёма ATX12V запитан исключительно VRM процессора, и ничего более (точное подтверждение всем этим предположениям можно получить только имея на руках принципиальную схему конкретной принимающей участие в тестировании системной платы, что, очевидно, в большинстве случаев невозможно). В качестве эксперимента и с целью накопления статистики (которая со временем сама может послужить эмпирическим доказательством правильности или неправильности наших предположений), мы решили задействовать данный метод, даже не будучи уверенными в его корректности в 100% случаев. Однако читателям не следует забывать о том, что сказано выше: называть полученный в результате описанных измерений результат даже «приблизительным энергопотреблением процессора», можно лишь со многими оговорками.
Сводная таблица тестов по типам нагрузки
| процессор | SMP | память | видеокарта | жесткий диск | |
| 3ds Max | + | + | ~ | + | — |
| Maya | + | + | ~ | + | — |
| Lightwave | + | + | — | — | — |
| MATLAB | + | — | — | — | — |
| Pro/ENGINEER | + | — | + | + | ~ |
| SolidWorks | + | — | + | + | ~ |
| Photoshop | + | + | + | — | ~ |
| Visual Studio | + | + | + | — | ~ |
| Apache | + | + | + | — | — |
| CPU RightMark | + | + | — | — | — |
| WinRAR | + | + | + | — | — |
| 7-Zip | + | + | + | — | — |
| FineReader | + | — | + | — | — |
| Audio encoding | + | — | — | — | — |
| Video encoding | + | +* | ~ | — | — |
| Games | + | +* | ~ | + | — |
* — не все тесты в подгруппе Вычисление общих баллов по тестам
и сводных баллов
Баллы (присутствующие в диаграммах), вычисляются по следующим правилам:
- любой результат, в котором меньшее значение является лучшим, чем большее, преобразуется в формат «больше — лучше» по формуле 1/X, где X — рассматриваемый результат;
- значение, эквивалентное ста (100) баллам для каждого отдельного теста, является результатом тестирования в заранее приведенных и жёстко обозначенных условиях процессора Intel Core 2 Duo 4300;
- всем результатам тестирования, присваиваются значения в баллах, эквивалентные соотношению между их результатами, и результатами процессора Intel Core 2 Duo 4300, прямо пропорционально;
- все результаты тестирования, если это относится к подгруппе, состоящей из нескольких тестов, сводятся в общий балл по алгоритму вычисления среднего геометрического (корень N-ной степени из произведения N результатов);
- условный «профессиональный» балл присваивается по результатам тестирования в следующих приложениях и группах приложений: 3ds Max, Maya, Lightwave, MATLAB, Pro/ENGINEER, SolidWorks, Photoshop, Visual Studio, Apache, CPU RightMark;
- условный «любительский» балл присваивается по результатам тестирования в следующих приложениях и группах приложений: WinRAR, 7-Zip, FineReader, Audio encoding, Video Encoding, Games;
- условный «общий» балл присваивается по результатам тестирования во всех приложениях и группах приложений.
по результатам тестирования
В соответствии с полученными баллами, мы будем делать выводы о том, какой процессор в рамках нашей методики является более «быстрым», а какой — более «медленным». В рамках вышеописанных выводов, мы несём ответственность за то, что:
- все тесты были проведены в соответствии с вышеописанными условиями (не описанные здесь дополнительные опции не являются секретом и могут быть получены всеми желающими по отдельному запросу);
- приведенные результаты могут быть получены на том же наборе аппаратного и программного обеспечения, со всеми указанными выше опциями, всеми желающими, и в пределах погрешности измерения они будут такими же, как и опубликованные нами;
- все вычисления условных баллов были проведены в соответствии с вышеописанными правилами, они являются корректными, и могут быть воспроизведены любыми другими лицами с тем же финальным результатом (в случае идентичных исходных данных).
Исходя из вышеизложенного, мы оставляем за собой право на принятие любых не выходящих за рамки действующего законодательства мер по отношению к тем, кто будет подвергать сомнению полученные нами результаты, и выводы из них, если эти сомнения не будут в достаточной степени аргументированы. Говоря проще: если не нравится методика — критикуйте методику. Но вот если «не нравятся» результаты — это уже ваши проблемы.
:no_upscale()/https://cdn.ixbt.site/ixbt-data/U80AxQ2TZv/covers/Qw35uV0mpLx0euXvtoR19bPN90CTVZJeCnlxVmax.jpg)
:no_upscale()/https://cdn.ixbt.site/ixbt-data/Tiky4gksYV/covers/7RINz0bJ5dhMAw8HGjBSZtIid2K44nRSBJIWm3Xx.jpg)
:no_upscale()/https://cdn.ixbt.site/ixbt-data/7pdhyjECid/covers/xkod9zpDc09RKi43nTr58dWfkrusBWwa8atvU0oW.jpg)