Stability AI выпускает модель ИИ, которая может рендерить 3D-видео из 2D-изображений
В понедельник Stability AI выпустила новую модель рендеринга 3D-видео, получившую название Stable Video 3D (SV3D). Модель искусственного интеллекта (ИИ) генерирует видео, но в отличие от популярных генераторов видео, таких как Sora OpenAI, Runway AI и Pika 1.0, она не требует ввода текста. Основная задача SV3D — получить входное изображение и превратить 2D-фотографию в 3D-модель. Компания обнародовала новую модель искусственного интеллекта для коммерческого и свободного использовании.
Объявление было сделано на официальном аккаунте Stability AI на X (ранее известном как Twitter) в сообщении говорится: «Сегодня мы выпускаем Stable Video 3D, генеративную модель, основанную на Stable Video Diffusion. Эта новая модель развивает область 3D-технологий, обеспечивая значительно улучшенное качество и возможность просмотра нескольких изображений». Объявление было сделано всего через месяц после того, как компания, занимающаяся искусственным интеллектом, анонсировала Stable Diffusion 3, которая повышает производительность в многопредметных заданиях.
Модель Stable Video 3D AI доступна в двух разных вариантах — SV3D_u и SV3D_p. Первый способен генерировать орбитальные видео на основе одного входного изображения, но не использует настройку камеры. Это означает, что хотя объекты 2D-изображения будут преобразованы в 3D-рендеринг, никакого движения камеры не будет. Более функциональный вариант — SV3D_p, который поддерживает как одиночные изображения, так и орбитальные изображения, что также позволяет создавать полностью визуализированные 3D-видео вдоль заданных траекторий камеры.
По мнению компании, модель искусственного интеллекта решает проблемы несогласованности, с которыми сталкиваются модели старшего поколения, такие как Stable Zero123. SV3D использует Neural Radiance Fields (NeRF) и представления сетки для улучшения качества и согласованности визуализированного видео. «Кроме того, чтобы уменьшить проблему встроенного освещения, Stable Video 3D использует модель разделенного освещения, которая оптимизирована совместно с 3D-формой и текстурой», — говорится в подробном сообщении на официальном сайте в блоге Stability AI.
Stable Video 3D теперь доступен как для коммерческого, так и для некоммерческого использования. Для коммерческого использования пользователям потребуется членство в Stability AI, стоимость которого начинается от 20 долларов США в месяц для уровня Professional. Для некоммерческого использования пользователи могут загрузить свои сгенерированные модели на Hugging Face.