Новый ИИ-алгоритм Adobe позволит за 5 секунд создавать 3D-модели из двухмерных рисунков

Индустрия развлечений требует огромного количества контента для удержания внимания современных зрителей. Новая технология, разработанная Adobe и использующая ИИ-алгоритмы, может оказать большую помощь в быстром автоматизированном создании 3D-моделей.

Использовав большой набор данных для тренировки ИИ-алгоритма, исследователи Adobe совместно с учёными Австралийского национального университета создали технологию, буквально позволяющую творить чудеса. Так называемая Большая реконструкционная модель (Large Reconstruction Model или LRM) может «предсказывать» форму 3D-модели, взяв за основу двухмерное изображение — на это уйдёт всего 5 секунд.

Раньше модели для генерирования 3D-изображений тренировались на небольших наборах данных, ориентированных только на одну категорию изображений. LRM, напротив, имеет масштабируемую архитектуру с 500 млн параметров и тренировалась на 1 млн 3D-объектов, доступных пользователям датасетов Objaverse и MVImgNet.

Комбинация производительной модели и огромного числа данных для тренировки обеспечивает алгоритмам возможность эффективной генерации контента. Как сообщают в Adobe, модель могла генерировать высококачественные 3D-«реконструкции» на основе тестовых изображений, в том числе картинок, созданных с помощью ИИ-сервисов вроде DALL-E и Stable Diffusion. По данным разработчиков, LRM является большим прорывом в «реконструкции» 3D-моделей по одному 2D-изображению. ИИ-алгоритм при этом обеспечивает детальную геометрию по видео или картинке, сохраняя даже сложные текстуры вроде древесной.

Потенциал технологии огромен, поскольку она может применяться в самых разных бизнес-нишах, включая дизайн, развлечения и игры. Для дизайнеров и 3D-художников значительно упрощается процесс моделирования и сокращается время, необходимое на создание контента для видеоигр и анимации.

Очень важно, что внедрение LRM приведёт к «демократизации» процесса 3D-моделирования, поскольку создавать детальные трёхмерные модели за считанные секунды смогут даже обычные пользователи. Хотя у LRM ещё есть недочёты вроде размытых текстур у «скрытых» частей изображения, перспективы технологии, вероятно, просто фантастические. В сети уже появилась страница с образцами того, что можно создавать с помощью нового инструмента прямо сейчас.