Команда исследователей из Калифорнийского университета и двух департаментов Facebook Reality Labs и AI Research разработала нейронную сеть, способную создавать 3D-изображения и 3D-фигуры из 2D-изображений.
Пифу HD, что означает Неявная функция с выравниванием по пикселям HD, был обучен конвертировать 3D-изображения и видео, которые воспроизводят одетых людей в 2D.
В дополнение к таким чертам лица, как рот и нос, система способна точно преобразовать морщины и текстуру одежды в соответствующую 3D-модель. Женские фотографические позы красноречивы, и мужские позы также не шутят.
Pifu HD - улучшенная версия предыдущего AI Pifu, представленного в прошлом году. Имея больше информации о пикселях, вы можете перенести мелкие детали в 3D-модель, такие как сгибы и положения пальцев. Ученый Шунсуке Сайто представил новую работу в двух видеороликах. Существует также научный документ с подробной информацией.
Обучение Пифу HD
Искуственный интеллект обучен создавать 3D-изображения с использованием 2D-изображений, которые действуют как ориентиры. В конкретном случае использовался набор модных изображений, который содержит мужские и женские фотомодели в разных позах и с разными предметами одежды.
Подобно тому, как это работает в медицинской МРТ, сканирование на каждом уровне глубины дает трехмерную фигуру. Кодер изображения вычисляет соответствующую трехмерную координату для каждого двухмерного пикселя и оценивает, находится ли он внутри или снаружи рассматриваемого поперечного сечения изображения. И от изображения до 3D на этом этапе небольшой шаг.
Pifu HD кодирует параллельные изображения в уменьшенном разрешении и использует эту информацию для создания собственной трехмерной модели.
Видео-демонстрация работает довольно хорошо. Таким образом, Pifu может создать трехмерную фигуру человека из модельных изображений. Плюс к этому гораздо более подробная 3D-модель из разных изображений одного и того же целевого человека с разными углами обзора.
Нам еще нужно время
Pifu еще не полностью разработан и недостаточно эффективен для продуктивного использования с его 3D-моделями. Однако скорость создания и изучения этого программного обеспечения поразительна.
