Команда Яндекса объявила о выпуске большого обновления фирменной нейросети для генерации картинок по текстовым запросам пользователей. Теперь пользователи приложения «Шедеврум» смогут генерировать по текстовому описанию ещё и видео. Как отмечают в пресс-службе, Яндекс первым на российском рынке запустил технологию создания видео с помощью нейросети для пользователей.
«Шедеврум» генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с друзьями или сохранить в формате MP4. Сейчас функция работает в режиме тестирования. Генерация видео доступна в обновлённой версии приложения активным пользователям «Шедеврума», а посмотреть результаты в ленте могут все.
Чтобы сгенерировать видео в «Шедевруме», нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берёт за основу выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение).
Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.