Компания Intel представила новое поколение своих ускорителей для ИИ — Gaudi 3. Если точнее, это целая линейка ускорителей, в которую входит сразу несколько моделей.
Gaudi 3 — чиплетный процессор. Для подобного класса продуктов это уже стало нормой. В его конфигурацию входят два основных кристалла и восемь стеков памяти HBM2e, что странно, учитывая, что конкуренты давно перешли на HBM3 и её варианты.
Чип производится по техпроцессу 5 нм на мощностях TSMC, но Intel почему-то не раскрыла количество транзисторов. Зато известно о 128 ГБ памяти с пропускной способностью 3,7 ТБ/с — эта характеристика неизменна, независимо от версии ускорителя. То же касается интерфейса PCIe 5.0 и 96 МБ кеша SRAM с пропускной способностью в 12,8 ТБ/с. TDP топовой версии достигает внушительных 900 Вт, но есть версии на 450 и 600 Вт.
Теперь к производительности. Версия HL-325L, для которой Intel делится данными, имеет производительность в режиме FP8 в 1835 TFLOPS, то есть почти в 2 PFLOPS. Это двое больше, чем у Gaudi 2. В режиме BF16 новинка и вовсе вчетверо быстрее.
Что касается конфигурации самого чипа, Gaudi 2 использует 24 ядра TPC, а Gaudi 3 использует уже два чипа по 32 TPC, которые основаны на архитектуре VLIW.
Ускоритель для ИИ требует масштабируемости. Как и его предшественники, Gaudi3 использует довольно уникальный в этой отрасли подход к портам Ethernet, которые используются в том числе для масштабирования. При скорости 24 × 200 Гбит/с пропускная способность фактически увеличивается вдвое по сравнению с Gaudi 2. Восемь ускорителей искусственного интеллекта обычно встроены в сервер и соединены друг с другом через Ethernet. Именно эти Ethernet-порты теперь используются и для горизонтального масштабирования сначала в стойку или серверный шкаф, затем в небольшой кластер или даже очень большой. Чтобы было понятнее, именно для этой цели Nvidia использует свой известный интерфейс NVlink со скоростью до 1,8 ТБ/с.
Intel, конечно, проводит сравнение Gaudi 3 с Nvidia H100. По чистой производительности в зависимости от задач Gaudi 3 либо немного медленнее, либо ощутимо быстрее, но при этом якобы более чем вдвое энергоэффективнее. Правда, нужно помнить, что Nvidia уже представила поколение Blackwell.
Первые образцы Gaudi 3 будут представлены партнёрам в текущей половине года, но массовые поставки ожидаются только во второй половине.