Создан ИИ, который превращает 2D-изображение в 3D-модель за пять секунд

Исследователи из Adobe и Австралийского национального университета разработали алгоритм, преобразующий двухмерные изображения в трёхмерные модели всего за 5 секунд. Этот прорыв обещает революционизировать создание контента в дизайне и развлечениях, хотя стоит остерегаться возможных проблем с размытыми текстурами и нарушениями авторских прав.

Новый алгоритм, названный Большой моделью реконструкции (Large Reconstruction Model или LRM), стал значительным прогрессом в быстром создании трёхмерных моделей на основе одного изображения. Алгоритм, обученный на большом наборе данных из около миллиона трёхмерных объектов, доступных в базах Objaverse и MVImgNet, продемонстрировал исключительную способность к обобщению при работе с разнообразными изображениями при создании 3D-контента.

В отличие от предыдущих моделей, обученных на ограниченных наборах данных с фокусом на одну категорию изображений, LRM использует трансформерную архитектуру, ставшую основой для множества разработок в области глубокого обучения, с 500 млн параметров. Это позволяет ИИ-модели эффективно работать с разнообразными типами изображений, включая фотографии из реального мира и визуальные коллажи, созданные другими ИИ-сервисами, такими как DALL-E и Stable Diffusion.

Ицонг Хонг (Yicong Hong), ведущий автор исследования, подчеркнул, что LRM является значительным прорывом в области трёхмерной реконструкции. Алгоритм способен воспроизводить детальную геометрию и сложные текстуры, например, текстуру дерева, сохраняя при этом качество и точность.

Применение LRM может стать поистине масштабным, от дизайна и развлечений до игровой индустрии. Для дизайнеров и 3D-художников это означает ускорение процесса создания моделей, что особенно важно при разработке видеоигр и анимации. Кроме того, возможность использования LRM обычными пользователями обещает сделать 3D-моделирование прерогативой не только профессионалов. Теперь создавать детализированные модели можно будет даже из фотографий, сделанных на смартфоне.

Тем не менее, у LRM есть свои ограничения, такие как размытость текстур в скрытых участках изображения. Также стоит учитывать вопросы авторских прав, особенно в контексте использования изображений, созданных другими ИИ-сервисами. Для демонстрации возможностей LRM исследователи создали страницу с видеодемонстрациями и интерактивными 3D-моделями. Это подчёркивает растущую роль ИИ в современном мире и его потенциальное влияние на будущее креативных отраслей.