Новое носимое устройство, разработанное учеными из Корнельского университета способен захватывать выражения лица человека с помощью сонара и воспроизводить их в виде цифрового аватара. Избегание камер может смягчить проблемы с конфиденциальностью.
EarIO, так называется устройство, очень простое. Он состоит из гарнитуры с микрофоном и динамиком с каждой стороны и может быть подключен к любой обычной гарнитуре. Динамики воспроизводят звуковые импульсы за пределами диапазона человеческого слуха, а их эхо улавливается микрофонами, как работает гидролокатор.
Профили эха меняются в зависимости от выражений лица: по этой причине специально обученные алгоритмы распознают изменения, принимаемые сонаром, и переводят их в изображения.
EarlO, сонар, который «видит» вещи по звукам
«Благодаря силе искусственного интеллекта наш алгоритм выстраивает сложные связи между движением мышц и выражением лица, которые люди не могут воспринять», — говорит он. Ке Ли, один из соавторов исследования. «Его можно использовать для извлечения очень сложной информации: всей передней части лица». Исследование опубликовано в журнале Труды Ассоциации вычислительной техники по интерактивным, мобильным, носимым и вездесущим технологиям. И я связываю это с вами здесь.
Команда протестировала сонар EarIO на 16 участниках, запустив алгоритм на обычном смартфоне. И устройство было способно реконструировать выражение лица, как это могла бы сделать обычная камера/камера. Фоновые шумы, такие как ветер, разговоры или уличный шум, ни в малейшей степени не мешали его способности записывать лица.
Технология от 007
Исследователи отмечают, что гидролокатор имеет несколько преимуществ по сравнению с использованием одного телекамера. Акустические данные потребляют гораздо меньше энергии и вычислительной мощности, что позволяет использовать более компактные и легкие устройства. Камеры также могут собирать много дополнительной личной информации, которой пользователи могут не захотеть делиться, поэтому сонар может быть безопаснее.
Конечно, набравшись воображения, я представляю себе, как такая технология бесшумно «проскальзывает» в обычную гарнитуру, и я думаю, что она может передавать движения губ и мимику на расстоянии даже в целях слежки. Однако на этот раз я вижу более практическое применение.
Который? Прежде всего, в секторе видеоигр: практичный способ воспроизвести физические выражения лица на цифровом аватаре для игр, виртуальной реальности или метавселенной. Сейчас команда работает над тем, чтобы исключить другие помехи, например, когда пользователь поворачивает голову, и упростить систему обучения алгоритму ИИ.
Посмотрим. То есть услышать. Короче, ты понял.
