Nvidia продемонстрировала удивительный новый алгоритм искусственного интеллекта, который может автоматически преобразовывать некоторые фотографии в реалистичные 3D-сцены.
Алгоритм, основанный на нейронной сети глубокого обучения, смог создать 3D-сцену всего из 12 кадров и выполнить рендеринг всего за несколько секунд. Результаты все еще далеки от совершенства, но ошеломляют: и показывают перспективность будущих приложений в таких областях, как редактирование видео и рендеринг лиц, людей или пейзажей.
Nvidia выпустила видео, демонстрирующее алгоритм в действии — посмотрите сами.
Мгновенный NERF, 3D-магия Nvidia.
Инструмент, разработанный Nvidia, известен как Instant NERF, созданный на основе «полей нейронного излучения» — метода, разработанного Google Research и Калифорнийским университетом Сан-Диего, который был запущен в 2020 году.
Если вы действительно хотите узнать больше взгляни сюда (английский текст). Если, с другой стороны, вас устраивает то, что я понимаю: по сути, метод объединяет данные о цвете и интенсивности света из некоторых 2D-изображений для создания 3D-сцены. На самом деле, помимо фотографий, системе нужна информация о положении камеры.
Исследователи работали над улучшением модели этого типа из 2D в 3D в течение нескольких лет, усложняя рендеринг и одновременно сокращая время выполнения работ. Фактически, Nvidia утверждает, что ее новый метод рендеринга с Instant NeRF, пожалуй, самый быстрый из когда-либо созданных: процедура занимает не несколько минут, а завершается практически мгновенно.
Возможные области применения
По мере того, как этот метод становится быстрее и проще в реализации, его можно использовать для всех типов бизнеса, говорится в сообщении в блоге Nvidia. описание работы.
Instant NeRF можно использовать для создания аватаров или сред для виртуальных миров, захвата участников видеоконференции и их окружения в 3D или воссоздания настроек для цифровых 3D-карт. Иша Сальян нвидии.
Эту технологию можно использовать для обучения роботов и беспилотных автомобилей определять размер и форму объектов реального мира, делая их 2D-фотографии или видео. Также он будет очень полезен в архитектуре и развлечениях. Это поможет стартапам (в том числе итальянским, как этот) для создания более быстрых цифровых представлений реальных сред, которые создатели могут изменять и развивать в мгновение ока.
