Исследователи из Университета Дьюка разработали инструмент искусственного интеллекта, который может преобразовывать размытые и неузнаваемые изображения лиц людей в привлекательные компьютерные портреты с более мелкими деталями, чем когда-либо.
Методы, существовавшие до Pulse GAN, могли детализировать изображение с размытыми пикселями в восемь раз по сравнению с исходным разрешением. Но команда Дьюка нашла способ использовать несколько пикселей и создавать реалистичные лица с разрешением до 64 раз выше, «представляя» такие особенности, как тонкие линии, ресницы и морщины, которых не было на первом изображении.
Изображения с таким разрешением никогда не создавались
Синтия Рудин, ученый, Университет Дьюка
Это не фоторобот
Исследователи говорят, что систему Pulse GAN нельзя использовать для идентификации людей: он не превратит размытую, неузнаваемую фотографию с камеры наблюдения в кристально четкое изображение реального человека. Скорее, он способен генерировать новые лица, которых не существует, но которые кажутся вполне реальными.
По словам соавтора, та же самая техника теоретически может делать фотографии практически всего с низким разрешением и создавать четкие, реалистичные изображения, которые могут применяться в самых разных областях: от медицины и микроскопии до астрономии и спутниковых изображений. Сачит Менондвойная специализация по математике и информатике.
Исследователи представят свой метод, называемый PULSE GAN, с завтрашнего дня по 19 июня на конференции 2020 года по компьютерному зрению и распознаванию образов (CVPR).
Традиционные подходы начинаются с того, что берут изображение низкого разрешения с размытыми пикселями и «угадывают», какие дополнительные пиксели необходимы, пытаясь в среднем совместить их с соответствующими пикселями в изображениях с высоким разрешением, которые компьютер видел раньше. В результате такого усреднения текстурированные участки волос и кожи, которые могут не совпадать идеально от пикселя к пикселю, могут выглядеть размытыми и нечеткими.
Команда Герцога выбрала другой подход
Вместо того, чтобы делать изображение с низким разрешением и медленно добавлять новые детали, система ищет сгенерированные ИИ примеры лиц с высоким разрешением (Теперь станьте очень хорошими в этом), ищем те, которые максимально похожи на входное изображение при уменьшении до того же размера.
Команда использовала инструмент машинного обучения под названием GAN, или «генеративно-состязательная сеть». Я говорил об этом более подробно в этой статье и в других на этом сайте. GAN — это нейронные сети, обученные на одном и том же наборе данных фотографий. Одна сеть представляет созданные ИИ человеческие лица, имитирующие те, на которых она обучалась, а другая берет этот результат и решает, достаточно ли он убедителен, чтобы его можно было принять за настоящую фотографию. Первая сеть становится все лучше и лучше с опытом, пока вторая не перестает замечать разницу. Другими словами, они соревнуются друг с другом и, совершенствуясь, совершенствуются.
PULSE может создавать реалистичные изображения из шумных входных сигналов низкого качества. Из одного размытого изображения лица он может выделить неограниченное количество реалистичных возможностей, каждая из которых кажется слегка разной.
Даже учитывая пиксельные фотографии, на которых глаза и рот едва различимы, «наш алгоритм может что-то с ними сделать. То, чего не могут сделать традиционные подходы». Слово соавтора Алекс ДамианМатематик у герцога.
Импульсный ГАН, «фэнтези» во власти
Система может преобразовать размытый пиксель или изображение размером 16x16 пикселей в изображение размером 1024 x 1024 пикселей за считанные секунды, добавляя более миллиона пикселей, что аналогично разрешению HD. Такие детали, как поры, морщины и пряди волос, незаметные на фотографиях с низким разрешением, становятся четкими и четкими в компьютерных версиях.
Исследователи попросили 40 человек оценить 1.440 изображений, полученных с помощью PULSE GAN, и пять других методов масштабирования. Их суждение? Число по шкале от одного до пяти. и Pulse GAN сделал лучше всего. Более того, он забил почти равен качественным фотографиям реальных людей.
Смотрите результаты для себя https://pulse.cs.duke.edu/.
