Представленная три года назад серверная платформа компании AMD с процессорами Epyc позволила производителю вернуться на этот рынок и получить признание многих заказчиков благодаря особенностям решения — большому числу ядер, высокой скорости работы с оперативной памятью и большому числу линий шины PCI Express для подключения периферийных устройств. Несмотря на выход в прошлом году второго поколения Epyc, первая версия остается актуальной и сегодня благодаря хорошему соотношению производительности и стоимости. Кроме того, некоторые модели позволяют использовать и процессоры Epyc второго поколения.
Среди них можно упомянуть платформу Asus RS500A-E9, которая к тому же в настоящий момент является одной из наиболее доступных из однопроцессорных решений — ее стоимость на локальном рынке составляет до 100 тысяч рублей.
Этот сервер формата 1U поддерживает процессоры с TDP до 200 Вт и числом ядер/потоков до 64/128 включительно. Максимальный объем оперативной памяти составляет 2 ТБ, для накопителей предусмотрено четыре отсека формата 3,5″ с поддержкой горячей замены и один слот M.2. Штатные сетевые возможности скромные: только два гигабитных порта. Но есть пара слотов расширения, так что можно без проблем добавить сетевой адаптер. Для такого компактного корпуса возможности очень впечатляют.
Заметим, что в серию RS500A-E9 входят три модификации. Они отличаются типами блоков питания и бекплейнами для накопителей. Далее речь пойдет о самой простой — RS500A-E9-PS4 с одним обычным блоком питания и SAS/SATA-бекплейном.
Комплект поставки и внешний вид
Сервер поставляется в картонной коробке, надежно защищающей содержимое. Заметим, что данное решение не «короткого» формата, так что коробка крупная. Однако ее вес — всего около 15 кг, так что при необходимости с транспортировкой может справиться один человек.
Комплект поставки обычный: платформа, кабель питания, радиатор системы охлаждения для процессора, набор винтов для накопителей, пара листовок и компакт-диск с программным обеспечением. От последнего, на наш взгляд, стоило отказаться уже несколько лет назад.
Дополнительно могут присутствовать оригинальные крепления в стойку.
По внешнему виду устройство не отличается от других серверов. Металлический корпус формата 1U имеет длину немногим более 60 см. Верхняя крышка разделена на две части. На несъемной передней, закрывающей дисковые отсеки, предусмотрительно приводится информация о портах ввода-вывода, индикаторах, кнопках и других внешних элементах, схема расположения внутренних элементов (в частности, варианты установки модулей памяти) и другие инструкции по сборке. Это, безусловно, полезная информация, упрощающая обслуживание сервера, особенно если с момента его установки прошло много времени и сотрудник видит его впервые. Вторая часть верхней крышки снимается для доступа к начинке. Для данной операции достаточно открутить сзади два винта с накатными головками.
На лицевой стороне сервера больше всего места занимают четыре отсека для накопителей формата 3,5″. Они поддерживают горячую замену, имеют индикаторы состояния и активности, а также защелки. Закрытия на ключ здесь не предусмотрено. Под ними в левой части корпуса расположен оптический накопитель. С противоположной стороны идет блок с индикаторами, кнопками и портами.
В частности, здесь находятся индикаторы активности для четырех сетевых портов, индикаторы «сообщение» и «активность накопителя», кнопки управления питанием и включения идентификации (на задней панели начинает мигать светодиод, что помогает определить нужный сервер, если их в стойке много), скрытая кнопка сброса, два порта USB 3.0, порт VGA. Так что при необходимости можно подключить локальную консоль и с этой стороны.
Сзади тоже все традиционно: вход блока питания (в описываемой модификации он один), место для установки разъема кабеля последовательного порта, выделенный сетевой порт для управления, два порта USB 3.0, два гигабитных сетевых порта, выход VGA, индикатор Q-Code, индикаторы «сообщение» и «идентификация». Также здесь мы видим три панели для карт расширения — две полноразмерных и одну в формате OCP 2.0.
Аппаратная конфигурация
Платформа имеет один сокет Socket SP3 (LGA 4094) для установки процессоров AMD Epyc 7000 или 7002 с максимальным TDP в 200 Вт. При этом из первой серии можно использовать любые модели от 7251 (8C/16T, 2,1/2,9 ГГц) до 7601 (32С/64T, 2,2/3,2 ГГц), а для второго поддерживаются в том числе и несколько 64-ядерных моделей, в частности 7262 (64C/128T, 2,0/3,35 ГГц). При этом выбору процессора нужно будет уделить большое внимание с учетом планируемой нагрузки — все-таки по стоимости модели отличаются более чем в десять раз и при понятном ограничении по TDP при увеличении числа ядер максимальные частоты снижаются.
На материнской плате предусмотрено 16 слотов для модулей оперативной памяти стандарта DDR4-2666/2400 RDIMM/LRDIMM/LRDIMM 3DS с поддержкой ECC. Таким образом, максимальный объем составляет внушительные 2 ТБ. Заметим, правда, что на момент подготовки статьи в официальном списке совместимости были модули максимум на 64 ГБ, что дает 1 ТБ при использовании всех слотов.
Поскольку AMD Epyc по факту являются не просто процессорами, а SoC, то никакого отдельного чипсета в сервере не используется. Большинство контроллеров и портов реализованы самим Epyc.
В частности, это относится к подсистеме хранения. Основной вариант для рассматриваемой модели сервера — четыре отсека для дисков 3,5″/2,5″ с поддержкой горячей замены и интерфейсом SATA 6 Гбит/с. Для подключения бекплейна используются разъемы Mini-SAS HD SFF-8643.
Кроме того, на плате предусмотрено одно место для накопителя M.2 (SATA и NVMe) с размером до 22110 включительно, внутренний порт USB 3.0 Type A и слот для карт памяти microSDHC. Упомянем также наличие оптического привода HL-DT-ST DVDRAM GUE1N с поддержкой чтения и записи дисков CD и DVD, который подключен через стандартный порт SATA.
Опционально производитель предлагает к данной модели сервера собственные контроллеры для работы с накопителями по интерфейсу SAS — восьмипортовые Asus Pike II 3008 (HBA) и Asus Pike II 3108 (RAID), основанные на чипах LSI.
Мы говорили выше, что платформа AMD Epyc интересна и большим количеством линий PCIe. В частности, в рассматриваемом сервере предусмотрено четыре порта OCuLink, предназначенные для передачи сигналов PCIe на накопители. Они задействованы в модификации платформы с поддержкой съемных накопителей NVMe, а также могут использоваться и для подключения внутренних SSD такого формата.
Сервер штатно оборудован двумя гигабитными сетевыми контроллерами с портами RJ-45 под витую пару. За их обслуживание отвечает известный чип Intel i350. Опционально предлагаются мезонинные платы расширения (OCP 2.0) на 2 или 4 гигабитных порта и на два 10-гигабитных порта, которые подключаются по PCIe 3.0 x8.
Конечно, можно использовать и обычные платы расширения. В сервере для них предусмотрено два слота PCIe 3.0 полной высоты и половинной длины с шириной x16 и x8. В блоке питания нет выводов дополнительного питания для плат расширения, но учитывая конфигурации слотов, это и не требуется.
Упомянем также конфигурацию портов USB 3.0: по два порта на передней и задней панелях и один внутренний порт. При необходимости пользователь может докупить кабель для вывода стандартного последовательного порта. На самой материнской плате для этого есть отдельный разъем.
Как и у большинства современных серверных платформ, в Asus RS500A-E9 предусмотрена система удаленного управления с возможностью полноценного контроля работы сервера, включая доступ к консоли. Для этого на плате установлен контроллер Aspeed ASP2500, который также выступает в роли «видеокарты-заглушки». Подробнее о его возможностях будет рассказано далее.
За охлаждение сервера отвечают шесть вентиляторов формата 40×28 мм с четырехпроводным подключением к материнской плате. Скорость их вращения регулируется автоматически по технологии Thermal Radar в зависимости от текущих условий. Вентиляторы установлены в специальные быстросъемные крепления. Кроме того, есть еще один вентилятор в блоке питания.
Проверка температурного режима проводилась в обычном офисном помещении, не оборудованном кондиционерами. При отсутствии нагрузки или при небольшой нагрузке система охлаждения сервера работает тихо, но, конечно, в реальной эксплуатации размещение устройства в одном помещении с сотрудниками противопоказано. При вычислительной нагрузке, создаваемой с помощью тестовых утилит в Windows Server 2019, уровень потребления сервера в описанной ниже конфигурации вырастает с примерно 50 Вт до 160 Вт. При этом ⅔ потребления приходится на процессор. Вентиляторы системы охлаждения в этом сценарии разгоняются до 15000 оборотов, что позволяет сохранить температуру процессора на уровне 50 градусов. Температура модулей оперативной памяти не превышает 40 градусов, а накопителей SSD — 30 градусов. Так что в целом никаких замечаний к температурному режиму нет.
Блок питания представлен моделью DPS-650XB E компании Delta Electronics. Он имеет максимальную мощность 650 Вт и поддерживает контроль со стороны материнской платы через интерфейс SMBus.
В целом конфигурацию платформы можно считать универсальной. Для некоторых сценариев использования, возможно, потребуется усиление сетевых коммуникаций или подсистемы хранения данных.
Сборка и начало работы
В общем случае для запуска сервера в работу потребуется процессор, оперативная память и накопитель (если не использовать загрузку по сети). В нашем случае это были AMD Epyc 7401P (24C/48T, 2,0/3,0 ГГц), четыре модуля DDR4-2666 по 16 ГБ производства Samsung и четыре SSD Micron 5200 (MTFDDAK960TD, 960 ГБ, SATA).
Процесс сборки в целом аналогичен персональным компьютерам. Пожалуй, единственное, что может вызвать сложности при отсутствии опыта — установка процессора. Сокет SP3 имеет более четырех тысяч контактов, и требуется специальная рамка для корректной инсталляции процессора (входит в комплект поставки).
Модули оперативной памяти устанавливаются в стандартные слоты. Накопители 2,5″ или 3,5″ закрепляются на рамках винтами. Инсталляция плат расширения также стандартна за исключением использования дополнительной платы-райзера.
Для данной модели все операции обслуживания, за исключением замены основных накопителей, необходимо проводить с выключением сервера.
Дальнейшие действия обычные: подключаем кабели, включаем питание. В общем случае вы можете сразу установить устройство в серверной комнате и все действия по установке ОС проводить удаленно. Для этого нужно будет только предварительно записать MAC-адрес сетевого контроллера для определения выданного ему IP на маршрутизаторе.
Обратите внимание, что доступ к ASMB9-iKVM (системе удаленного управления Asus) осуществляется или через выделенный сетевой порт, или через совмещенный с первым основным встроенным сетевым контроллером. Во втором случае вам будет достаточно одного сетевого кабеля и для доступа к управлению, и для работы операционной системы.
Холодное включение начинается с загрузки и инициализации системы управления (BMC). При этом на экран монитора выводятся коды POST и IP-адрес BMC. Далее начинает работу основной BIOS. В нем предусмотрены горячие клавиши для запуска утилиты обновления, загрузки по сети, отображения меню загрузки и, конечно, входа в настройки.
В большинстве случаев можно оставить все на значениях по умолчанию, изменив, если нужно, порядок устройств для загрузки операционной системы. Так что подробно все опции разбирать не будем, а просто перечислим, что нашлось интересного или полезного:
- автоматическое включение после восстановления питания;
- проверка SMART дисков при включении;
- загрузка по сети;
- загрузка с iSCSI;
- поддержка виртуализации, SR-IOV, IOMMU;
- настройка режимов работы процессора и контроллера памяти;
- поддержка UEFI и CSM.
Обратим внимание также на то, что страница с показаниями встроенных сенсоров находится в отдельном модуле, который вызывается из BIOS. Учитывая, что удаленно через браузер доступно гораздо больше датчиков, лучше использовать именно этот вариант.
Удаленное управление ASMB9-iKVM
Для удаленного управления сервером через локальную сеть или интернет используется аппаратно-программное решение ASMB9-iKVM. Для начала нужно убедиться, что контроллер подключен к сети и имеет IP-адрес. Далее можно подключаться к системе через браузер по HTTPS или через SSH. Опишем подробнее первый вариант.
На стартовой странице Dashboard разместили несколько плиток с наиболее востребованной информацией, включая журнал входов и сводку показаний встроенных датчиков.
Полная информация по ним приводится на странице Sensor. Для рассматриваемой платформы здесь представлены напряжения, температуры, скорости вентиляторов, энергопотребление — всего 23 сенсора для используемой конфигурации. Кроме того, есть и дискретные датчики, показывающие наличие накопителей, блока питания и др. При выборе отдельных пунктов можно посмотреть динамику и изменить контролируемые пороги системы уведомлений.
FRU Information, вероятно, предназначена для целей инвентаризации и подбора запасных частей. Но в данном сервере эта информация не предоставляется.
В группе Logs & Reports представлены несколько журналов событий. В них предусмотрены опции установки фильтра типов, источников, дат для просмотра, а также загрузка и очистка.
Собственные настройки сервиса находятся в одноименной группе меню. В частности, это настройка часов (можно выбрать часовой пояс и сервера для синхронизации), управление пользователями и правами, настройка работы с каталогами LDAP, AD или сервером RADIUS, выбор режим позиционирования мышки по умолчанию при удаленном доступе к графическому рабочему столу, настройка режима работы журнала (в том числе отправка сообщений на удаленный сервер), настройка опции работы с удаленными образами, настройка сетевых параметров (в том числе имени хоста, сервера DNS, портов сервисов, числа сессий, таймаутов и даже правил межсетевого экрана), загрузка сертификатов SSL, настройка системы отправки уведомлений (например, по электронной почте, при этом поддерживается указание двух серверов для повышения надежности), настройка отправки захвата с экрана на удаленный сервер при срабатывании различных триггеров, настройка режимов работы вентиляторов системы охлаждения.
В большинстве случаев при использовании сервера не обойтись без функции удаленного подключения — Remote Control. В рассматриваемой модели она реализуется двумя способами — через возможности HTML5 современных браузеров и режим GUI и через запускаемый на клиенте модуль Java для доступа к консольному порту.
При работе с HTML5 предусмотрено множество полезных функций: захват экрана (изображение или видео), выбор режима позиционирования мышки, настройка параметров кодирования видеосигнала, отправка специальных комбинаций клавиш, монтирование образов ISO, управление питанием.
Для удаленной установки операционной системы или проведения диагностики и обслуживания администратор может воспользоваться функцией Image Redirection для подключения к серверу образа виртуальной дискеты, накопителя или оптического диска. При этом источниками могут быть как локальные для удаленного клиента файлы, так и образы в локальной сети сервера (с доступом по NFS или CIFS).
Управлять питанием можно на странице Power Control. Предусмотрены варианты включить, безопасно выключить, принудительно выключить, перезагрузить.
Функция Locate LED поможет локальному администратору найти нужный сервер в стойке, если их там несколько.
Maintenance позволяет сохранить и восстановить настройки сервиса BMC, а также обновить BIOS и Firmware (сам код ASMB9-iKVM), что, безусловно, очень удобно.
В целом это достаточно удобная и многофункциональная система удаленного доступа, позволяющая полноценно работать с серверов из любой точки сети и интернета. В частности, вы можете управлять питанием, проверить состояние, установить операционную систему, изменить настройки BIOS. По сути, физический доступ может потребоваться только для изменения аппаратной конфигурации, а все остальные операции администрирования осуществляются удаленно. Работа напрямую в современных браузерах позволяет использовать этот сервис с рабочих станций с любыми операционными системами.
Эксплуатация
Серверные решения отличаются от универсальных настольных компьютеров тем, что в большинстве случаев используются с подобранными под конкретные задачи конфигурациями. При этом диапазон по стоимости и характеристикам очень широкий, что еще больше затрудняет выбор оптимального варианта. В этой ситуации тестирование производительности имеет смысл именно на реальных приложениях в применении к требуемому сценарию использования. И если скорость обычно является вполне понятной и стабильной характеристикой, то стоимость (как железа, так и программного обеспечения), особенно в поставках под проекты, может существенно меняться и, таким образом, влиять на выбор. Учитывая данные сложности, для предварительной оценки решения «в целом» можно ориентироваться на стандартные для индустрии тестовые пакеты, например SPEC или VMark, отчеты по которым публикуют производители.
Формальный список совместимых ОС для рассматриваемой платформы включает Windows Server 2016/2019, RHEL 6.10/7.X, SLES 11SP4/12SP3 и Ubuntu 18.04.02 LTS. Мы проверили работоспособность с Windows Server 2019, Debian 10.3 и FreeBSD 12.0. Все системы работали корректно, включая поддержку интегрированных контроллеров.
Учитывая характеристики сервера, вполне разумно выглядит его использование в роли сервера виртуализации. Однако в характеристиках используемой платформы отсутствуют популярные продукты, что, вероятно, связано со сложностью получения официальных сертификатов, а не с проблемами совместимости.
В частности, никаких проблем с установкой таких решений, как Proxmox 6.1 и VMWare ESXi 7.0, мы не встретили.
Так что можно говорить о том, что данная платформа хорошо подходит для виртуализации несложных сервисов благодаря возможности иметь большое число ядер в компактном корпусе. При необходимости можно установить в нее сетевой контроллер на 10 Гбит/с и контроллер системы хранения данных, если требуется работа в кластере или более быстрый обмен данными.
Заключение
В идеальном мире потребители, вероятно, могли бы иметь возможность подобрать максимально подходящую под их задачи конфигурацию серверов с учетом всех выбранных критериев. В роли последних могут выступать такие требования, как совместимость с определенным оборудованием или программным обеспечением, технические характеристики платформы, производительность в ключевых сценариях использования, стоимость, сроки поставки, надежность партнера, условия гарантийного обслуживания и др. Но в реальности свести все это в один общий «балл» для сравнения практически невозможно, а критерии бывают очень сложно зависимы друг от друга. Кроме того, если речь идет об обновлении существующего оборудования, прямое сравнение вполне конкретно, но несет мало информации для других потенциальных потребителей. Не говоря уже о том, что прошлые сервера могут быть устаревшими не только физически, но и морально.
На момент публикации материала сервер в описанной конфигурации уже в течение нескольких недель используется для обслуживания основного сайта iXBT.com, включая различные сопутствующие дополнительные сервисы. Подробностей о программном обеспечении мы по соображениям безопасности раскрывать не будем. Но скажем, что никаких проблем с миграцией мы не встретили. И операционная система, и все сервисные пакеты работали «из коробки» без каких-либо специальных настроек и патчей. Что касается производительности, то поскольку одновременно было обновлено и программное обеспечение, прямое сравнение будет не очень корректно, хотя, конечно, влияние замены версий ПО в данном случае относительно невелико. В целом, на прошлой системе на базе процессоров AMD Opteron с общим числом потоков 16 и частотой 2,3 ГГц средняя загрузка вычислительных ядер (именно они являлись «узким местом» в наших задачах) составляла порядка 70%, а в пиках превышала 100%. Новый сервер, имея в общей сложности в три раза больше потоков, показывает в настоящий момент среднюю нагрузку не более 5%. В результате мы обеспечили комфортное время отклика даже при высокой нагрузке и получили существенный запас производительности. Есть все шансы, что новый сервер будет эффективно справляться со своими задачами не меньше лет, чем его предшественник.
Из плюсов рассмотренной платформы отметим компактный размер для предоставляемой вычислительной мощности, удобную систему удаленного управления, возможность установки плат расширения, большое число линий PCIe, возможность использования накопителей NVMe и доступную стоимость.
В заключение предлагаем посмотреть наш видеообзор серверной платформы Asus RS500A-E9:
Наш видеообзор серверной платформы Asus RS500A-E9 можно также посмотреть на iXBT.video
