Nvidia продемонстрировала удивительный новый алгоритм искусственного интеллекта, который может автоматически преобразовывать некоторые фотографии в реалистичные 3D-сцены.
Алгоритм, основанный на нейронной сети глубокого обучения, смог создать 3D-сцену всего из 12 кадров, визуализируя ее за секунды. Результаты все еще далеки от совершенства, но поразительны: они показывают перспективы будущих приложений в таких областях, как редактирование видео и рендеринг лиц, людей или пейзажей.
Nvidia выпустила видео, демонстрирующее алгоритм в действии — посмотрите сами.
Мгновенный NERF, 3D-магия Nvidia
Инструмент, разработанный Nvidia, известен как Instant NERF, основанный на «полях нейронного излучения» — методе, разработанном Google Research и Калифорнийским университетом Калифорнийского университета в Сан-Диего, который был запущен в 2020 году.
Если вы действительно хотите узнать больше посмотрите здесь (английский текст). Если, с другой стороны, вас устраивает то, что я понимаю: по сути, метод объединяет данные о цвете и интенсивности света из некоторых 2D-изображений для создания 3D-сцены. На самом деле, помимо фотографий, системе нужна информация о положении камеры.
Исследователи работали над улучшением этого типа модели из 2D в 3D в течение нескольких лет, усложняя визуализацию и сокращая временные рамки. На самом деле, Nvidia утверждает, что ее новый метод рендеринга с Instant NeRF, пожалуй, самый быстрый из когда-либо созданных: процедура проходит от нескольких минут до практически мгновенного завершения.
Возможные области применения
По мере того, как этот метод становится быстрее и проще в реализации, его можно использовать для всех типов бизнеса, говорится в сообщении в блоге Nvidia. описание работы.
Instant NeRF можно использовать для создания аватаров или сред для виртуальных миров, захвата участников видеоконференции и их окружения в 3D или воссоздания настроек для цифровых 3D-карт. Иша Сальян нвидии.
Эту технологию можно использовать для обучения роботов и беспилотных автомобилей тому, как определять размер и форму объектов реального мира, делая их 2D-фотографии или видеоролики. Он также будет очень полезен в архитектуре и развлечениях. Он будет помогать стартапам (также итальянским, как этот) для создания более быстрых цифровых представлений реальных сред, которые создатели могут изменять и развивать в мгновение ока.
