Предыдущая методика тестирования была введена в действие около трех лет назад — а в основных чертах повторяла еще более раннюю, которой уже без малого пять лет. Как оказалось, где-то в те годы «спокойная жизнь» на рынке накопителей закончилась. Точнее, для жестких дисков (которые в первой половине десятилетия были основой основ — и основными объектами тестирования) началась совсем спокойная — как на кладбище. Жизнь в этом сегменте сохранилась, а вот развиваются только накопители максимальной емкости, да и там без серьезных интенсивных изменений — просто производителям удается то немного плотность записи повысить, то еще один блин в пакет «впихнуть», что увеличивает емкость, но слабо сказывается на производительности. Давно обещанные же новые технологии все еще остаются делом будущего — каждый год отодвигал их все дальше и дальше, сохраняя обещания ближайшей перспективы. В этом году многое должно наконец-то случиться (во что очень хочется верить), но вряд ли ситуация изменится принципиально. А некогда самые массовые сегменты «обычных» настольных и ноутбучных винчестеров вовсе перестали развиваться. Как максимум — внедрение SMR, но эта технология «не про скорость». Да и (положа руку на сердце) никто ее давно от винчестеров не ждет. Ни от внутренних, ни от внешних — последние мы когда-то тестировали часто, а сейчас эпизодически и лишь когда кому-то из производителей удается сделать что-то неординарное. Много дешевых терабайтов — вот их главное достоинство. Оно же — и недостаток: как следствие «дешевизны», которую все стремятся максимизировать. Как это делается и к чему может приводить — рассмотреть в обзорах полезно. Но причин это делать на регулярной основе нет.
А вот твердотельные накопители за последние пять лет расцвели буйным цветом. Причем развитие их было разнонаправленным. С одной стороны, скорость топовых SSD вышла за рамки SATA путем перехода на интерфейс PCIe (сначала версии 3.0, а теперь и 4.0) и внедрения протокола NVMe. При этом производители памяти постоянно боролись за снижение себестоимости, так что за этот же период практически полностью отмер MLC-флэш — доминирует TLC, но все чаще встречается QLC-память. Но и первая, и (особенно) вторая имеют не слишком высокие собственные скоростные характеристики, что принято маскировать при помощи хитрых костылей, типа SLC-кэширования. На деле же и SATA-накопители до сих пор хорошо продаются — но там те же тенденции. Производительность же SSD интересует всех покупателей — ради нее и покупают. Вот только измерять ее правильным образом непросто. Просто было как раз лет пять-семь назад — когда все массовые накопители использовали MLC-память и интерфейс SATA600, а SLC-кэширование встречалось очень редко и делало только первые робкие шаги. Сейчас — сложный коктейль, вкус которого с одного глотка не определишь.
Что касается внешних накопителей, то к обычным USB-флэшкам и USB-винчестерам добавились еще и внешние SSD, причем, опять же, именно они представляют наибольший интерес для требовательных пользователей. А внешний SSD — это тот же коктейль, что и внутренний (так что см. выше), но с внешним интерфейсом. Обычно USB — только вот старого доброго USB 3.0 (который путем ряда последовательных переименований превратился в USB 3.2 Gen1) хватало как раз лет пять назад, а сейчас используются и Gen2 (вдвое быстрее, чем Gen1), и Gen2×2 (вчетверо быстрее), а то и Thunderbolt 3 и 4. При этом и старый добрый USB3 Gen1 пока еще сбрасывать со счетов нельзя — до сих пор продаются компьютеры, в которых ничего более быстрого и нет. В скором времени на рынок придет и USB4, так что бардак еще больше усилится. К счастью, до этого момента есть еще пара лет, да и специальной подготовки не требуется — но вот «переварить» существующие блюда нужно обязательно.
Поэтому на деле мы начали корректировать методику тестирования еще пару лет назад. К тому же тесты в последнее время приходилось проводить на разных тестовых стендах, поскольку не получалось найти на рынке ни одного подходящего для всех внутренних и внешних накопителей. Сейчас — получилось. Но новый стенд — это всегда прощание со старыми результатами. Не со всеми — некоторые будут получаться такими же, но чистоту эксперимента это немного нарушает. Поэтому решено было воспользоваться случаем — и перелопатить программную часть. Легализовать уже сделанные изменения, обновить программы и доработать то, что ранее откладывалось. Сохранив основную идеологию, конечно.
Тестирования сравнительные и обзорные
Поскольку все современные накопители стали разными (и классов их уже много, а не одни лишь жесткие диски, и внутри классов разброс большой), идея больших сравнительных тестирований исчерпала себя окончательно — для нее нужны как раз однотипные и желательно вообще одинаковые по большинству параметров. Идеальным примером являются центральные процессоры — достаточно в качестве «общего знаменателя» зафиксировать систему команд (скажем, х86-64). В этом случае все, что нам остается сделать, это протестировать производительность каждого процессора в определенном наборе программ. Неплохо бы еще, конечно, суметь ввести какие-то общие интегральные оценки — для упрощения последующего сравнения. Для изучения сложных технических вопросов можно сузить предметную область — например, сравнивать двух- и четырехъядерные процессоры с одинаковой тактовой частотой, дабы определить полезность увеличения числа ядер. Либо взять пару процессоров из одной линейки с разной тактовой частотой и определить, насколько хорошо данная процессорная архитектура масштабируется по частоте. Либо взять пару устройств разной архитектуры, но с примерно равными техническими характеристиками и исследовать, какая архитектура оказалась более удачной. Либо написать статью в помощь покупателю — в данном случае, отталкиваясь от цены процессора или готовой системы, показать, что́ будет более выгодной покупкой.
Сравнительные тестирования были не менее логичны и удобны в случае внутренних винчестеров. Логика та же: определяем некоторую область (например, настольные модели емкостью 1 ТБ) и выясняем, кто в ней выглядит лучше всего. Для карт памяти это тем более применимо: в рамках одного форм-фактора они взаимозаменяемы на все 100%, так что значение имеют только емкость, цена и скоростные характеристики. Фиксируем первую — можно сравнить несколько участников по остальным показателям.
Но вот с внешними накопителями этот подход всегда плохо работал. А для внутренних SSD когда-то отлично подходил (когда различий между ними было не больше, чем внутри сегмента винчестеров) — а теперь перестал: слишком большое разнообразие. Частично проблему можно решить существенным дроблением предметной области, жестко ее ограничивая. Например, рассматривать в одной статье исключительно SSD с SATA-интерфейсом и в стандартном «ноутбучном» исполнении, а в другой — только M.2 с интерфейсом PCIe, причем в обоих жестко фиксируется емкость испытуемых (поскольку от нее зависит и производительность). Но на этом пути тоже можно зайти в тупик, поскольку «набрать» большое количество однотипных устройств на тест за разумное количество времени крайне сложно (мы все-таки не магазин компьютерных комплектующих). Следовательно, к тому моменту, когда работу можно будет считать законченной, результаты первого из протестированных устройств пролежат под сукном слишком долго, а то и вовсе устареют. Можно выпускать небольшие части тестов — по 2-3 накопителя, но тогда все попытки сравнения быстро потеряют смысл.
Именно поэтому мы решили отказаться от практики сравнительных тестирований в пользу обзоров. По факту каждая статья на данную тему является обзором одного или (реже) нескольких конкретных продуктов, но обзором подробным и полным. И конечный результат — не выяснение, кто лучше/хуже, а оценка того, насколько удачным и востребованным получилось тестируемое устройство. Разумеется, тестируя производительность без сравнения обойтись невозможно (иначе получится как в анекдоте: «Приборы? — 200 — Чего 200? — А чего приборы?»), однако в данном случае вполне разумно и достаточно в качестве ориентиров взять некие «эталонные» или ранее протестированные устройства.
Подчеркнем особо: ранее протестированные. Регулярно возникающий после публикации вопрос, а почему сравнили именно с этим, а не с тем, имеет и стандартный ответ — сравнить можно только с тем, что уже тестировалось. Когда разные устройства поступают хаотическим образом, «удачного» примера придется ждать долго — но хоть какие-то ориентиры нужны всегда и обязательно. Поэтому сложившаяся практика альтернативы не имеет. Иногда и вовсе придется сравнивать очень разные накопители — именно для того, чтобы подчеркнуть разницу в производительности.
Из этого, впрочем, не следует полное отсутствие на сайте сравнительных тестирований — если вдруг количество однотипных накопителей на какой-то момент времени окажется достаточно большим, можно написать и сводную статью. Необязательно даже лишний раз проводить тесты — если у нас уже есть обзоры, из них можно взять все нужное, отбросив детали, которые для всех испытуемых окажутся одинаковыми. Например, это может быть большое сравнение SSD определенной емкости на конкретном контроллере, но с разными типами памяти или наиболее компактных внешних винчестеров. Или и вовсе взять разные устройства, но с какой-то общей чертой — и посмотреть, как меняется производительность в этой вот области. Такие статьи крайне удобны покупателю — для выбора из определенной группы. Но чтобы сначала определиться с группой, как раз и полезны обзоры.
Знакомство с испытуемыми
Независимо от того, сколько участников тестирования будет представлено в статье, со всеми ними нужно кратко познакомиться, описав основные характеристики — как внешние, так и детали устройства. Для некоторых типов накопителей первый вопрос не имеет существенного значения. Действительно, все внутренние устройства скрыты от глаз пользователя, так что как они выглядят — неважно. Посадочные места для винчестеров и SSD жестко стандартизованы, так что в рамках своего класса все они одинаковы. Это же касается и карт памяти, которые всегда разрабатываются под конкретный тип разъемов расширения. Бывают, впрочем, некоторые отступления от этого правила, но они редки, так что как раз и оказываются предметом исследования сами по себе. Зато «внутренняя кухня» в этом случае является определяющей. В частности, пакет дисков в винчестере может иметь разное количество пластин, объем кэш-памяти различается ныне в разы, да и технический прогресс не стоит на месте, сказываясь на технологии производства магнитных головок и самих «блинов». Не все изменения очевидным образом влияют на производительность (даже в рамках тестовых приложений), но это тем более интересно — можно, оперируя результатами, попробовать сделать выводы о том, какой прирост и где дают (и дают ли) технические усовершенствования. Для SSD-накопителей же ключевыми параметрами являются модель используемого контроллера (их намного меньше, чем продаваемых моделей и даже семейств SSD), тип используемой флэш-памяти и некоторые другие детали. Причем в бюджетном сегменте по сложившейся практике под одним и тем же названием могут продаваться разные SSD — поэтому всегда очень важно для начала определиться, что именно мы тестируем. А если попалась формально одна модель, но с разным содержанием — так это вообще хороший повод для сравнительного тестирования.
В случае «произвольных» внешних устройств вопрос их внешнего вида и удобства на практике крайне важен, а вот внутренняя «начинка» — уже не всегда. Например, во внешнем жестком диске она целиком и полностью определяется установленным в корпус винчестером, который, вообще говоря, за время выпуска определенной модели может и поменяться. Строго говоря, при этом меняются и скоростные показатели, так что их измерения перестают быть актуальными, а вот масса устройства, его внешний вид, удобство подключения к компьютеру и пр. — не изменяются. Соответственно, именно они имеют наибольшее значение, поскольку остаются верными для любой линейки за все время ее существования — в отличие от скоростных показателей, которые могут измениться. С другой стороны, скоростные показатели обычно меняются вместе с «начинкой», так что обойти это противоречие не так уж и сложно: достаточно просто указать, какой именно винчестер установлен в ВЖД, т. е. для какой конкретно модификации устройства измерены скоростные характеристики.
С внешними флэш-накопителями ситуация сложнее, поскольку в их случае «содержимое» может вообще измениться непредсказуемым образом. Положение спасает то, что, опять же, вопросы удобства и привлекательности внешнего вида при этом не меняются, а производительность большинство покупателей таких устройств и не беспокоит — за исключением, разумеется, внешних SSD, но для последних производители стараются выдерживать скоростные показатели в течение всего срока жизни устройства, переименовывая модель при их изменении.
Тестирование производительности
Общие вопросы
Перегружать обзор тестами — занятие опасное: в этом случае, очень часто, за деревьями перестает быть виден лес :) Самостоятельно разобраться с несколькими десятками диаграмм сложно. К тому же, разные программы зачастую одни и те же (по названию) характеристики измеряют разным образом, что способно еще более запутать ситуацию: если, например, в статье приведено три разных значения времени доступа на операциях чтения, то на какое следует ориентироваться? Поэтому в данном случае мы предпочитаем исходить из политики разумного минимализма, но все-таки целиком и полностью доверять результатам всего одной программы (пусть даже популярной и позиционируемой как «средство от всего») является излишне оптимистичным подходом. Кроме того, далеко не все способны, оперируя лишь низкоуровневыми характеристиками, составить полное представление о том, как накопитель будет вести себя в тех задачах, которые в наибольшей степени интересуют владельца устройства. Тем более, что в современных условиях низкоуровневые результаты зачастую являются полностью оторванными от практики — простые утилиты «пробиться» через SLC-кэш не могут. В итоге покажут максимум того, на что способен бюджетный SSD — но при таком подходе не всегда вообще есть разница между бюджетными и небюджетными. Платить в современном мире чаще всего приходится не за рекордные скоростные показатели, а за их стабильность. Поэтому никуда не деться от «высокоуровневой синтетики», причем для многих типов устройств именно эти результаты являются самыми важными. И «получать» их тоже нужно правильным образом.
Аппаратная платформа и операционная система
Как мы уже говорили ранее, частая смена тестового стенда нежелательна, поскольку при этом приходится начинать заново накапливать результаты тестирования. Однако за последние три года достаточно активно менялись интерфейсы внешних и даже внутренних накопителей. В итоге под конец жизни предыдущей методики нам для тестирований приходилось нередко использовать сразу несколько тестовых стендов, что нормальной практикой не является. Поэтому мы «переезжаем» на новую универсальную систему:
- Asus ROG Maximus XIII Hero на чипсете Intel Z590
- Intel Core i9-11900K
- 16 ГБ DDR4-3200
- системный SSD Patriot Hellfire 240 ГБ
- Windows 10 x64 21H1
Системная плата интересна тем, что поддерживает исчерпывающий набор внешних интерфейсов: USB вплоть до режима Gen2×2 и Thunderbolt 4. Аналогично и с внутренними: есть PCIe 4.0 x4 силами процессора, что актуально для современных топовых SSD и чипсетный PCIe 3.0 x4 — практически такой же, как во всех платформах Intel с 2015 года. Поэтому ближайшее время накопители с поддержкой PCIe 3.0 мы будем продолжать тестировать с его использованием, а вот более лучшие — в двух режимах: и 4.0 (для полного раскрытия скоростных характеристик), и 3.0 (поскольку режим совместимости на практике интересует многих владельцев ПК).
Windows 10 мы использовали уже давно — просто обновили ее до последней сборки. Эта система изначально поддерживает и протокол AHCI, и NVMe, так что мы продолжим использование «системных» драйверов, а также AHCI-режима SATA-контроллера — так чаще всего накопителям и приходится работать. При необходимости, впрочем, RAID-массив можно будет протестировать и в будущем, просто переключив контроллер и используя ПО Intel Rapid Storage. Но в целом SATA уже актуальность утрачивает в любом виде, а специализированные тестирования — на то и специализированные, что тестовая методика и окружение всегда подгоняется по месту.
Тестирование внутренних SSD
Устройства с SATA-интерфейсом будут подключаться к чипсету в «стандартном» AHCI-режиме, NVMe-накопители с поддержкой PCIe 3.0 — устанавливаться в «чипсетный» разъем M.2, а PCIe 4.0 — и в «чипсетный», и в «процессорный». В специфических случаях (например, серверные накопители формата U.2 или U.3) мы будем задействовать переходники на «большие» слоты PCIe — благо на этой плате таковые тоже двух типов: и 3.0, и 4.0 (и все свободны, благодаря наличию интегрированного GPU).
Для тестирования будут применяться четыре программы: AIDA64 Extreme 4.20, CrystalDiskMark 8.0.1 x64, Intel NASPT 1.7.1 и PCMark 10 Storage. Причем первая — ровно для одной цели: получить график последовательной записи по всему объему. А нужно это для того, чтобы определить емкость SLC-кэша и вообще политику кэширования. Полного ответа, впрочем, так быстро не получится — но один такой график уже полезнее сотни тестов в низкоуровневых утилитах, типа CrystalDiskMark.
Почему мы все равно продолжаем использовать последний? А некоторые скоростные характеристики другими способами либо не измерить, либо это сложно и долго. Кроме того, именно CDM чаще всего используется — в том числе и производителями, которые именно его результаты очень часто и публикуют как официальные. Соответственно, посмотреть на них смысл есть. Причем мы оставили только эту программу, хотя в предыдущей версии методики использовалось две подобных, а в позапрошлой — три, именно для того, чтобы не перегружать материалы однотипными результатами (к тому же синтетичными). Остальные за прошедшие годы не развивались — CDM напротив обзавелся удобными возможностями настройки, так что в этой области его одного достаточно.
Что измеряем? Во-первых, скорость выполнения последовательных операций — чтение, запись и смесь из 70% чтения и 30% записи. Блоки — по 128К, очередь в 8 команд и 8 потоков: такой режим для большинства SSD является самым быстрым. Во-вторых, «мелкоблочка» 4К с разной глубиной очереди: единичная (Q1T1), 4 (Q4T1), 16 (Q4T4), 32 (Q4T8) и 256 команд (Q32T8). Тоже синтетика, но многим интересная, благо демонстрирует предельные скоростные характеристики. Однако на практике «глубокие» очереди не встречаются, а вот отличные от 4К блоки — как бы не более половины случаев. Поэтому мы «поработаем» и с ними — чтение, запись и смешанный режим (все те же 70/30) для 4К, 16К, 64К и 256К с единичной очередью. Всего получается шесть диаграмм, на четырех результаты в МБ/с, пара для 4К — в IOPS. Можно рассмотреть и какие-то еще сценарии, но не необходимо.
Основной упор мы будем делать на Intel NASPT 1.7.1 и PCMark 10 Storage. Первый позволяет оценить скорость при обработке больших объемов информации (мы зафиксировали его на 32 ГБ) в шести сценариях, причем с использованием стандартных функций WinAPI и реальной файловой системы. Второй (точнее, его тест Full System Drive) на данный момент является лучшим комплексным бенчмарком для накопителей, куда входит все актуальное на практике — от запуска операционной системы до простого копирования больших и мелких файлов. При этом тест специально оптимизирован именно под высокоскоростные SSD — в отличие от предыдущих версий, способных более-менее корректно измерить разве что винчестеры (почему уже и полностью утративших актуальность). Более подробно с тестом можно ознакомиться при помощи нашего краткого обзора, там же почерпнуть информацию и о представлении результатов. Здесь же отметим, что и тесты NASPT, и PCMark 10 Storage Full System Drive мы будем «гонять» два раза: на пустом SSD и оставив на нем всего 100 ГБ свободными. Второе — более приближено к реальности (поскольку никто не покупает гигабайты флэша про запас — дорого это), да и отлично «ломает» маскировку при помощи SLC-кэширования.
Тестирование внешних SSD
В данном случае все как с внутренними — за исключением низкоуровневых характеристик: которые в первую очередь зависят именно от установленного внутрь устройства SSD, а во вторую — всегда немного «режутся» интерфейсом. Впрочем, столкнувшись с чем-нибудь неординарным, мы будем использовать и эти тесты. Но основной набор — AIDA64 для оценки стратегии кэширования, NASPT для изучения работы с большими файлами (что для внешних накопителей вообще весьма актуально) и PCMark 10 Storage для комплексной оценки. Последние две программы — также в двух состояниях: на пустом и заполненном данными SSD.
Тестирование жестких дисков
Ради них одних можно было ничего и не менять, поскольку на этом рынке почти ничего интересного давно не происходит. Да и вообще — эти устройства редко оказываются героями тестирований. Но основной набор будет немного похож на SSD — только главной для определения низкоуровневых показателей остается программа HD Tune Pro. С ее помощью будем определять минимальную, среднюю и максимальную скорости чтения и записи на всем объеме диска, а также время доступа к данным на таких операциях. Кроме того, возьмем и тесты «разноблочки» CrystalDiskMark для внутренних винчестеров — а также NASPT и PCMark 10 Storage уже для всех, причем эту тройку дважды: создав раздел на 300 ГБ в начале диска и в конце. Механизм снижения скорости при заполнении данными у жестких дисков несколько отличается, от «флэшечного», но тоже есть. Так что и с ним нужно работать.
Итого
В конце статьи, как и положено, будем делать выводы. Это весьма важная часть, поскольку, как показывает практика, многие читают только введение и заключение. Соответственно, и кроме кучи диаграмм должны быть краткие выводы по производительности — причем не только сравнительно с другими устройствами, а вообще: где и когда такое устройство лучше применять (и надо ли это делать в принципе). Кроме того, здесь же можно будет и немного порассуждать на тему общих вопросов, типа положения дел на рынке, но не относящихся непосредственно к ТТХ конкретных испытуемых.
