Знакомство с сервером Hiper Server R3 — Advanced

Бренд Hiper появился на локальном рынке в 2010 году. Компания предлагает широкий выбор ИТ-оборудования, включая ноутбуки, компактные ПК, моноблоки и периферию. Недавно ассортимент был расширен — на рынок начали поставляться сервера под этим брендом. На момент подготовки статьи в официальном каталоге на сайте были представлены пятнадцать моделей для установки в стойку и одна в напольном формате. Компания поставляет готовые сервера под требования заказчика, а также предусмотрен вариант, когда формированием продукта на базе платформы Hiper занимаются дистрибьюторы и партнеры.

В этой статье мы познакомимся с Hiper Server R3 — Advanced. Фактически под данным названием скрываются три устройства формата 2U, отличающиеся только конфигурацией подсистемы хранения данных. В нашем случае на тест была представлена была модель R3-T223225-13 с поддержкой 25+2 накопителей формата 2,5″.

Комплект поставки

Сервер приехал на тест в уже повидавшей виды картонной коробке достаточно больших габаритных размеров — немногим менее 70×30×110 см. Оформление традиционно отсутствует. Есть только информационная наклейка с конфигурацией устройства.

Сам сервер надежно защищен толстыми вставками из вспененного пенопропилена. В них же расположен и отсек для рельс для установки устройства в стойку. Кроме них, в комплекте традиционно идут кабели питания и винты крепления дисков. Документация отсутствует, что обычно для тестовых образцов. В целом по поставке и упаковке вопросов нет. Единственное замечание — отсутствие специальной отвертки для радиаторов процессоров, хотя все-таки операция по их замене — это дело сервисных инженеров, а не самого заказчика.

Комплектные крепления для установки в стойку имеют защелки со специальными замками. Основная блокировка обеспечивается вставкой из пластика, которая фиксирует замки. Дополнительно можно использовать и винты, которые также идут в поставке. К качеству изготовления этих элементов замечаний нет.

Собственно конструкция рельс обычная: два основных элемента подвижны, что позволяет установить крепление в стойки глубиной от 66 до 94 см. Плавность движения промежуточного элемента обеспечивается двумя блоками подшипников. Для установки сервера на нем необходимо закрепить направляющие винтами с потайными головками. Конфигурация направляющих позволяет полностью выдвинуть сервер для обслуживания. Дополнительные защелки-блокираторы обеспечивают фиксацию конструкции.

На сайте производителя можно ознакомиться с техническими характеристиками устройства, скачать комплект основных драйверов для ОС семейства Windows, а также краткую документацию на русском языке на само устройство и на конфигурацию RAID-массивов Intel VROC. Детальной документации, а также списков совместимости мы не обнаружили. Производитель не ограничивает использование любых стандартных комплектующих.

Стандартная гарантия на оборудование составляет три года. Для ускорения обслуживания, есть локальный склад запчастей. Предусмотрена возможность расширения гарантии до пяти лет, а также другие сервисные опции, включая замену компонентов на месте установки оборудования, ответ поддержки на следующий рабочий день, оперативную замену и так далее. Стоимость подобных контрактов обсуждается в индивидуальном порядке.

Внешний вид и конструкция

Сервер имеет стандартные габариты формата 2U для установки в 19″ серверную стойку, а глубина составляет внушительные 82 см. Заметим, что комплектные рельсы длиннее корпуса, так что желательно использовать шкаф или стойку глубиной не менее 90-100 см.

Оборудованию для установки в стойку нет смысла выделяться визуальным дизайном. Здесь более важны надежность, удобство обслуживания и другие более практические критерии.

На лицевой панели сервера находятся 25 отсеков для накопителей формата 2,5″. Эта конфигурация сегодня наиболее распространена, если требуется получить локальное хранилище данных большой емкости и скорости в компактном формате.

Для размещения фронтальных кнопок, светодиодов и портов используются выступающие слева и справа «ушки». На левом мы видим порт VGA и два порта USB 3.0, а на правом кнопки питания и ID (также используется для перезапуска BMC), четыре светодиодных индикатора (общее состояние, состояние памяти, состояние вентиляторов, активность и статус сетевого интерфейса OCP) и Mini-USB, подписанный «LCD для подключения системы мониторинга» (производитель не предоставил о нем информацию). Также здесь за подпружиненными крышками находятся отверстия для винтов крепления сервера к стойке.

Справа внизу под дисками предусмотрен выдвижной ярлык для размещения информации о сервере, но информацию на него наносить придется покупателю.

Накопители в основные отсеки устанавливаются через салазки, изготовленные из металла и пластика. Диск на них закрепляется четырьмя винтами. На салазках предусмотрен вывод двух светодиодов состояния дисков. Отметим отсутствие дополнительной защиты от случайного открытия — для этой операции достаточно просто нажать кнопку в нижней части слота.

На задней панели мы видим расположенные горизонтально слоты для плат расширения — шесть полной высоты и два половинной. Подробнее об их использовании мы напишем ниже.

Внизу справа идет слот OCP, в нашем случае занятый сетевой картой на два порта SFP28 с поддержкой скоростей 10/25 Гбит/с. Далее находятся сетевой порт IPMI, выход VGA, последовательный порт и два порта USB 3.0. Есть также кнопка-индикатор ID и скрытая кнопка сброса BMC/NMI.

Слева вверху установлены два дополнительных отсека для накопителей 2,5″ с интерфейсом SATA. Под ними — два блока питания с поддержкой резервирования и горячей замены.

Для доступа к внутренностям сервера на верхней крышке есть специальный замок с дополнительной защелкой. На обратной стороне крышки есть наклейки с кратким описанием элементов системы и последовательности различных операций обслуживания (например, замены вентиляторов). Правда, всё это только на китайском языке. Отметим здесь и наличие датчика вскрытия корпуса. Для доступа к портам на фронтальном бекплейне можно снять и вторую часть верхней панели.

Сама конструкция сервера традиционна. После дисковых отсеков идет блок охлаждения из четырех вентиляторов и материнская плата с картами расширения и блоки питания.

Из 25 фронтальных отсеков последние восемь поддерживают интерфейсы SATA/SAS/NVMe, а остальные — только SATA/SAS. При этом U.2/NVMe подключаются индивидуальными кабелями для обеспечения наибольшей производительности. Итого в максимальном варианте вам потребуется 4×8=32 линии PCIe от процессоров или контроллеров. Остальные конфигурации работают через мультиплексор и подключаются к контроллеру через три стандартных порта Mini SAS HD (SFF-8643).

Система охлаждения создана очень грамотно: четыре вентилятора формата 80×38 прокачивают воздух через весь корпус, и это единственный путь для него, поскольку все крупные щели заблокированы. Вентиляторы DYTB0838B2GP311 известного бренда AVC используют 4-проводное подключение к материнской плате, а максимальный ток у них составляет 4,5 А.

На процессорах установлены только радиаторы, причем относительно небольшие. Но благодаря специальным направляющим воздушных потоков, они способны обеспечить комфортный температурный режим.

Для подключения плат расширения есть три «отсека». В первых двух можно установить по три полноразмерных карты расширения, а в третьем — две половинной высоты. Конфигурация корпуса позволяет установить даже видеокарты длиной до 30 см.

В целом конструкция производит очень хорошее впечатление качеством изготовления, продуманностью и широкими возможностями конфигурации.

Конфигурация

По информации из IPMI, сервер собран на базе платформы TTY TU628V2 и в нем установлена материнская плата T2DM. Версии BIOS и BMC — от 2022 года, обновлений в сети найти не удалось. Материнская плата и корпус разрабатывались совместно, так что отделить одно от другого не получится, а технические характеристики имеет смысл описывать совместно.

Два сокета FCLGA4189 для процессоров поддерживают процессоры Intel Xeon Scalable Processors третьего поколения с TDP до 270 Вт. В нашем случае были установлены два Intel Xeon Gold 6348: 28 ядер, 56 потоков, базовая частота 2,6 ГГц, максимальная Turbo-частота 3,5 ГГц, TDP 235 Вт.

На материнской плате предусмотрено 32 слота для оперативной памяти DDR4-3200 с поддержкой ECC. Благодаря этому максимальный поддерживаемый объем составляет 8 ТБ. В тестируемой конфигурации было установлено восемь модулей оперативной памяти Samsung M393A2K43DB3-CWE по 16 ГБ, что дало 128 ГБ общего объема.

Базовая платформа сервера не имеет никаких сетевых контроллеров, кроме BMC. В нашем случае для подключения к сети в слот OCP 3.0 был установлен контроллер Mellanox Technologies ConnectX-4 Lx (PCIe 3.0 x8) с двумя портами SFP28, позволяющими при установке соответствующих трансиверов использовать скорости 1/10/25 Гбит/с.

На материнской плате есть два слота M.2 2280, в которых были установлены два NVMe-накопителя Kimtigo HNSW22B044Z объемом по 512 ГБ. Отметим, что данные слоты работают с дисками в режиме PCIe 3.0 x2 с подключением к чипсету, что может ограничивать производительность. С другой стороны, если рассматривать эти диски как системные, данное ограничение не играет существенной роли.

Во фронтальных отсеках установлены два U.2-диска Intel D5-P5530 SSDPF2KX960HZ объемом по 960 ГБ. Для них уже использовалось подключение по PCIe 4.0 x4 к первому процессору, так что скорость должна быть максимальная.

Для тестирования мы также установили один SATA SSD в отсек на задней панели сервера для установки операционной системы. В качестве альтернативы для системного диска можно также использовать внутренний порт USB 3.0.

За питание сервера отвечают два блока Great Wall GW-CRPS1300D — как уже понятно из названия, имеющие формат CRPS и мощность 1300 Вт. Опционально для данной модели сервера поставляются также модели другой мощности до 2000 Вт включительно.

В предоставленном на тестирование сервере также были установлены два дополнительных контроллера, которые никак не использовались в тестировании: сетевой контроллер GRT F902T-V4.0 на два гигабитных порта под медный кабель на базе чипа Intel i350 и RAID-контроллер Broadcom/LSI MegaRAID 9361-8i с модулем защиты кеша для SAS/SATA-дисков фронтальных отсеков.

Сервер имеет на задней панели три «блока ввода-вывода». В нашем случае конфигурация была рассчитана на использование преимущественно плат расширения. Опционально возможна замена на модули для накопителей. В первом и втором блоке допускается использование плат расширения полной высоты.

При этом один слот в каждом блоке имеет формат x16, а два остальных — x8. Каждый блок подключен к своему процессору. Благодаря конструкции корпуса, можно использовать даже профессиональные видеокарты. Правда, потребуется самостоятельно докупить для них специальные кабели питания, которые производитель не поставляет даже как опцию, что странно.

Третий блок в нашем случае был «пустышкой», но можно докупить для него райзер и добавить еще две карты расширения половинной высоты. Насколько гибко и оперативно поставщик позволяет выбирать конфигурацию заказываемого сервера, выяснить не удалось.

Установка и настройка

С установкой сервера в стойку не было никаких проблем. Единственное, на что стоит обратить внимание — относительно большая глубина корпуса. Далее подключаем сетевые интерфейсы и питание и начинаем настройку. Для этого обычно используются встроенные средства IPMI.

Веб-интерфейс IPMI есть на английском и китайском языках. Производитель материнской платы просто использовал готовое решение American Megatrends Inc, которое уже встречалось нам в других продуктах.

 

 

 

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

 

На первой странице, Dashboard, представлена информация о сервере, включая версии прошивок, MAC- и IP-адрес, общий статус датчиков, журнал событий. Также есть быстрые ссылки на доступ к консоли.

Вторая группа меню — инвентаризация. Здесь можно узнать подробности о процессорах, модулях оперативной памяти, накопителях, платах расширения, вентиляторах, блоках питания. Причем в нашем случае, когда накопители U.2 подключены к шине процессора, выводится информация не только о них, но и о бекплейне. Про платы расширения тоже много данных — параметры шины подключения, производитель, MAC-адреса и тип портов для сетевых карт. Жаль только, что даже на Full HD-мониторе всего сразу не увидеть, а горизонтальной прокрутки нет. Далее также можно встретить пункт FRU Information, где приводятся данные о платформе.

Конечно, есть и традиционный раздел с сенсорами — статус присутствия, температуры, вентиляторы, напряжения, токи и так далее. В контроле работы за сервером пригодятся и журналы событий, где записываются как системные события, так и обращения к IPMI.

Из настроек BMC наиболее часто используемыми будут управление аккаунтами пользователей, параметры сетевого подключения и сервисов, дата и время, отправка уведомлений, управление виртуальными носителями. Также может представлять интерес доступ к RAID/HBA-контроллерам, включая внешние, для настройки дисковой подсистемы.

В группе Remote Control находятся ссылки управления питанием, включения индикации ID и собственно перехода к удаленному управлению путем подключения к рабочему столу сервера или консоли. Для KVM предусмотрены варианты работы через HTML5 в браузере и клиент, написанный на Java. В них есть все привычные возможности, включая управление клавиатурой и мышкой, запись с экрана, монтирование образа и так далее.

Для установки ОС и обслуживания сервера будет полезна возможность монтирования образов дисков по сети с другого сервера. Поддерживаются протоколы CIFS и NFS. Для использования данной функции необходимо сначала в настройках указать данные для удаленного сервера.

В разделе обслуживания находятся функции работы с самим BMC — обновление прошивки и управление конфигурацией, а также сброс настроек BIOS и просмотр кода POST. Кстати, здесь есть и полезная опция по скачиванию одним файлом информации об аппаратной конфигурации сервера. А вот возможность обновления BIOS отсутствует.

 

 

 

• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

 

BIOS материнской платы сервера, как нетрудно было догадаться, тоже AMI. Так что всё стандартно и привычно. В большинстве случаев здесь нужно будет уделить внимание только настройке BMC и загрузочного устройства, всё остальное обычно уже настроено оптимально для сервера. Есть доступ к настройкам и дисковых контроллеров — встроенного Intel VROC и внешней модели Broadcom/LSI, что упрощает конфигурацию дисковых массивов. Конечно, поддерживается виртуализация, SR-IOV, UEFI, загрузка по сети и другие современные функции.

В итоге можно сказать, что платформа по своим возможностям встроенного программного обеспечения соответствует индустриальным стандартам.

Нет смысла оценивать стоимость конкретной конфигурации, лучше ориентироваться на стоимость платформы. По информации компании на момент подготовки статьи, она составляет около 250 тысяч рублей.

Тестирование

Сервер был установлен в стойку, обеспечен питанием через ИБП, кондиционерами и сетевым подключением 10 Гбит/с. Для проверки стабильности работы оборудования была инсталлирована система виртуализации Proxmox актуальной на момент проведения тестов версии. Нагрузка в виртуальной машине создавалась вычислительными задачами создания и обработки трехмерных моделей. Для мониторинга использовался сервис Zabbix с контролем через агента в операционной системе, а также через подключение по IPMI.

Максимальное зафиксированное энергопотребление всей системы под нагрузкой составило около 750 Вт. Температура процессоров не превышала 80 °C. По остальным датчикам температуры платформы максимальное значение было зафиксировано у карты OCP — 47 °C. Скорость вращения корпусных вентиляторов не превышала 6000 RPM. Накопители U.2 удалось «разогреть» синтетической нагрузкой в тесте fio максимум до 39 °C. При этом датчик на фронтальном бекплейне показывал 36 °C.

Как мы видим, благодаря продуманной и эффективной конструкции системы охлаждения, при работе оборудования в серверной вопросов к температурному режиму не возникает. Но нужно напомнить, что тестировалось устройство в не самой «тяжелой» конфигурации. Добавление накопителей и, особенно, видеокарт, конечно, поменяет картину. Многое будет зависеть от систем охлаждения самих плат расширения, поскольку штатные вентиляторы корпуса работают преимущественно на охлаждение дисков и процессоров. Но в целом мы не ожидаем проблем и в этом случае.

Как мы уже писали ранее, серверное оборудование обычно приобретается для решения определенных задач заказчика. Именно они определяют конфигурацию оборудования, включая конкретные модели процессоров, дисковую подсистему, оперативную память, сетевые контроллеры и так далее. Кроме того, важное значение имеет и настройка программного обеспечения, которая часто позволяет очень сильно увеличить эффективность использования оборудования без существенных финансовых вложений. По этим причинам тестирование представленных для обзоров семплов серверов может быть интересно с точки зрения возможности доступа к «дорогому» оборудованию, а не получения малополезных результатов в популярных бенчмарках.

В частности, недавно мы проверили работу современного аппаратного RAID-контроллера с твердотельными накопителями SATA и U.2, а в этот раз имеем возможность оценить работу NVMe при прямом подключении по PCIe к серверному процессору. Intel D5-P5530 выпускается уже несколько лет, для него заявлены скорости последовательного чтения и записи в 5500 и 1600 МБ/с соответственно, а на случайных операция с блоками размером 4 КБ производитель заявляет 300000 и 75000 IOPs для чтения и записи соответственно. Установленная в сервере платформа поддерживает технологию Intel VROC — организацию RAID-массивов на базе накопителей NVMe и процессоров Xeon. Однако базовый вариант без дополнительных лицензий умеет делать только RAID0, да и накопителей у нас в этот раз только два. Поэтому мы решили посмотреть на работу стандартного для Linux пакета mdadm. Для сравнения мы также протестируем и установленные в сервере M.2-накопители, подключенные к чипсету. Напомним только, что там используется PCIe 3.0 x2, что будет ограничивать скорость значением около 2 ГБ/с (впрочем, и сами накопители явно бюджетного сегмента).

Для теста использовался пакет fio с шаблонами последовательных операций блоками 256 КБ и случайных операций блоками по 4 КБ. Кроме «чистых» чтения и записи мы в этот раз использовали и смешанный режим чтение/запись в стандартной пропорции 80/20.

На последовательных операциях одиночный накопитель U.2 выступил даже лучше заявленных характеристик: чтение более 6000 МБ/с, запись более 1700 МБ/с. А вот использование его в RAID-массивах явно не так эффективно, как хотелось бы. Том с чередованием показал рост в смешанном режиме, но просто чтение и запись заметно снизили скорость. Про зеркало даже и не говорим. Вероятно, нам стоит постараться найти возможность протестировать именно Intel VROC, поскольку терять производительность очень не хочется. Для накопителей формата М.2 ситуация существенно отличается. Здесь мы видим практически двукратный рост от режима RAID0 и только незначительные потери в режиме RAID1.

На случайных операциях оба варианта накопителей ведут себя более интересно: мы видим рост во всех трех шаблонах на массиве с чередованием, а зеркало показывает увеличение скорости при чтении и в смешанном режиме, но проваливается на записи, причем для M.2 проваливается, можно сказать, катастрофически.

На наш взгляд, результаты тестов разных конфигураций блочных устройств получились достаточно интересные. Как минимум, не все ожидания были подтверждены на практике. Так что вопрос явно требует дальнейшего исследования.

Скорость работы с блочным устройством в целом может давать определенные ориентиры, однако практический интерес представляет все-таки производительность в реальных приложениях. Как и в прошлой статье, мы используем для этого тест базы данных через популярную утилиту sysbench. Конфигурация и условия тестирования: 100 баз данных по 10 000 000 записей, общий объем — около 256 ГБ, скрипт — oltp_read_write из комплекта поставки, тестирование проводилось в 32 потока, длительность работы теста — один час.

Для размещения базы данных использовались конфигурации дисковых томов, описанные выше — одиночный диск, два в RAID0, два в RAID1 для накопителей M.2 и U.2. Файловая система — xfs. Результаты в «операциях в секунду» приводятся из последней строки журнала работы теста. Несколько неожиданно было, что накопители M.2 оказались здесь заметно медленнее, чем U.2, так что мы решили показывать их на разных диаграммах.

Для устройств U.2 мы видим, что, в этот раз уже ожидаемо, в лидеры выходит массив с чередованием. Однако и зеркало имеет преимущество перед одиночным накопителем. Так что если ваша задача — иметь отказоустойчивую и быструю конфигурацию для базы данных с высокой нагрузкой, то программная реализация mdadm в Linux вас не разочарует.

Совсем иначе показали себя накопители M.2. Здесь в лидеры выходит одиночный диск, а программные массивы заметно ему проигрывают. Что касается абсолютных результатов, то данные диски оказались в разы медленнее накопителей U.2.

Вторая пара диаграмм была получена с установкой параметра innodb_buffer_pool_size в файле /etc/mysql/mariadb.conf.d/50-server.cnf на 96 ГБ (напомним, что всего в сервере было установлено 128 ГБ оперативной памяти).

Для конфигураций из накопителей U.2 общий рост скорости составил 3-4 раза. При этом немного изменилось и взаимное расположение участников: в лидерах снова массив с чередованием, а вот второе место занимает уже одиночный диск, незначительно обогнав зеркальный том.

При хранении базы на накопителях M.2 мы видим, что для одиночного диска рост составил два раза, для массива с чередованием — полтора, а зеркальный том работал даже медленнее. Конечно, мы уже в начале статьи говорили, что слоты M.2 на материнской плате, скорее всего, будут использоваться для установки операционной системы (если в требованиях нет обязательной поддержки горячей замены накопителей), а не для интенсивной работы с пользовательскими данными. Представленная конфигурация без проблем справится с этой задачей, но все-таки немного обидно за NVMe.

Заключение

Без сомнения, появление еще одного поставщика серверного оборудования можно только приветствовать. Все-таки при всех условиях удобнее иметь локального партнера, чем самостоятельно привозить оборудование такого класса издалека. Предоставленный на тестирование сервер Hiper Server R3 — Advanced производит хорошее впечатление своей продуманной конструкцией, гибкой конфигурацией, наличием всех востребованных интерфейсов и функций управления.

Данное решение в формате 2U имеет два сокета для процессоров Intel Xeon, большой максимальный объем оперативной памяти, эффективную систему охлаждения, возможность установки полноразмерных плат расширения, включая видеокарты, мощные блоки питания, поддержку накопителей с интерфейсами SATA, SAS и U.2.

Платформа с программной точки зрения мало отличается от других решений данного класса, в ней реализованы знакомые стандарты удаленного управления и мониторинга. Также мы не встретились с проблемами совместимости с операционными системами.

В заключение предлагаем посмотреть наш видеообзор сервера Hiper Server R3 — Advanced: