Google Research представляет VideoPoet - революция в генерации видео и аудио

Недавно команда Google Research представила новую разработку в области искусственного интеллекта — VideoPoet. Это крупномасштабная языковая модель, задача которой — преодолеть сложности, возникающие при создании видеоконтента.

Особенности VideoPoet

• Мультизадачность. Модель рассчитана на выполнение множества задач, от преобразования текста в видео до изменения стилей и ремастеринга существующих видео. Также она способна преобразовывать изображения в видео и даже создавать аудио.
• Инновационный подход. В отличие от классических диффузионных моделей, VideoPoet интегрирует все эти функции в одну языковую модель, обеспечивая более высокий уровень интеграции и способность к обучению.
• Тренировка на различных модальностях. VideoPoet обучается с использованием нескольких токенизаторов — MAGVIT V2 для видео и изображений и SoundStream для аудио — чтобы овладеть знаниями в разных областях, таких, как видео, изображения, аудио и текст.

VideoPoet демонстрирует впечатляющие способности в создании контента. Например, он может генерировать видео различной длины на основе текстовых подсказок или превращать статические изображения в анимированные видео. Модель также может стилизовать видео, добавляя уникальные визуальные эффекты и даже создавать аудиодорожки.

Для оценки эффективности VideoPoet использовались различные методики. В сравнении с другими моделями, VideoPoet выделяется своей способностью следовать текстовым подсказкам: в 24-35% случаев люди предпочитали его результаты конкурентам. Также, диапазон предпочтения для видео с интересными движениями составил 41-54% против 11-21% у конкурентов.

VideoPoet, как крупномасштабная языковая модель, интегрирующая различные задачи по созданию видео, открывает новые горизонты для генерации видеоконтента «с нуля». Это открывает перспективы для художественного творчества, кинопроизводства и других творческих областей, где ценится инновационный подход.