Группа исследователей из Калифорнийского университета и двух отделов Facebook Reality Labs и AI Research разработала нейронную сеть, способную создавать 3D-изображения и 3D-фигуры из 2D-изображений.
Пифу HD, что означает Неявная функция с выравниванием по пикселям HD, был обучен конвертировать 3D-изображения и видео, которые воспроизводят одетых людей в 2D.
В дополнение к таким чертам лица, как рот и нос, система способна точно преобразовать морщины и текстуру одежды в соответствующую 3D-модель. Женские фотографические позы красноречивы, и мужские позы также не шутят.
Pifu HD - улучшенная версия предыдущего AI Pifu, представленного в прошлом году. Имея больше информации о пикселях, вы можете перенести мелкие детали в 3D-модель, такие как сгибы и положения пальцев. Ученый Шунсуке Сайто представил новую работу в двух видеороликах. Существует также научный документ с подробной информацией.
Тренировка Pifu HD
Искусственный интеллект обучен создавать 3D-изображения с использованием 2D-изображений, которые действуют как ориентиры. В конкретном случае использовался набор модных изображений, который содержит мужские и женские фотомодели в разных позах и с разными предметами одежды.
Как и в медицинской МРТ, каждый уровень глубины сканирования дает трехмерную фигуру. Кодер изображения вычисляет соответствующую 3D-координату для каждого 2D-пикселя и оценивает, находится ли он внутри или снаружи поперечного сечения исследуемого изображения. И от изображения до 3D в этот момент шаг короткий.
Pifu HD кодирует параллельные изображения в уменьшенном разрешении и использует эту информацию для создания собственной трехмерной модели.
Видео-демонстрация работает довольно хорошо. Таким образом, Pifu может создать трехмерную фигуру человека из модельных изображений. Плюс к этому гораздо более подробная 3D-модель из разных изображений одного и того же целевого человека с разными углами обзора.
Нам еще нужно время
Pifu еще не полностью разработан и недостаточно эффективен для продуктивного использования с его 3D-моделями. Однако скорость создания и изучения этого программного обеспечения поразительна.
