Китай не имеет нормального доступа к современным и самым мощным ускорителям для ИИ от Nvidia, но, похоже, теперь они им не очень уж и нужны. Компания DeepSeek, создавшая нашумевшую нейросеть, теперь сообщает, что им удалось выжать 580 TFLOPS производительности в режиме BF16 на ускорителе Nvidia H800. Чтобы было понятнее, это примерно в восемь раз превышает стандартный показатель модели.
Более того, благодаря эффективному использованию памяти декодирующее ядро FlashMLA — изюминка новой разработки — обеспечивает пропускную способность памяти до 3000 ГБ/с, что почти в два раза превышает теоретический пик H800. Речь тут именно о программных оптимизациях, что говорит о том, что вовсе не обязательно гнаться за самыми мощными вычислительными устройствами — иногда можно получить даже больший прирост просто благодаря ПО.
Напомним, относительно информации о невероятной дешевизне обучения DeepSeek есть альтернативное мнение. А вот если другие компании смогут добиться такого же прироста на старых ускорителях, это может заметно и очень быстро изменить рынок, который сейчас активно растёт в том числе из-за активной гонки за всё большей производительностью ускорителей для ИИ.
:no_upscale()/https://cdn.ixbt.site/ixbt-data/3IvsfIIKa9/covers/OSLqciMyCoB6PDrNhIKYP8VPiVhjJ9OuiiUVDRBh.jpg)
:no_upscale()/https://cdn.ixbt.site/ixbt-data/PPlb4Jj79I/covers/OYMbLvQgAS8b1u1Sz5b8vMnuDPeKUP0UkBNMybmF.jpg)
:no_upscale()/https://cdn.ixbt.site/ixbt-data/jp8xQvedXd/covers/IsI4GojhLyJbCJajXlgRnYy7GztO2iXhIvVlRRMc.jpg)