Никому неизвестный стартап Groq представил, видимо, лучший процессор для вывода нейросетевых моделей

Это так называемый языковой процессор (LPU)

На рынке чипов для ИИ появился новый игрок. Судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентов. 

Начать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPU. Это так называемый языковой процессор (LPU). Вторая важная особенность заключается в том, что данный LPU предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно.

Groq LPU — это одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP), который обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320 × 320 в дополнение к 5120 векторным ALU. Судя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPU. 

При работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с.  

Само собой, как и в случае любого другого нового чипа, сама по себе производительность — это полдела. Нужно, чтобы игроки рынка захотели использовать новый продукт. Но тут перспективы Groq раскроет только время.