Новое носимое устройство, разработанное учеными из Корнельского университета способен захватывать выражения лица человека с помощью сонара и воспроизводить их в виде цифрового аватара. Избегание камер может смягчить проблемы с конфиденциальностью.
EarIO, так называется устройство, очень простое. Он состоит из наушников с микрофоном и динамиком с каждой стороны и может быть подключен к любому обычному наушнику. Громкоговорители воспроизводят звуковые импульсы за пределами человеческого слуха, а их эхо улавливается микрофонами, как работает эхолот.
Профили эха меняются в зависимости от выражения лица: по этой причине специально обученные алгоритмы распознают изменения, полученные от сонара, и переводят их в изображения.
EarlO, эхолот, который «видит» вещи по звукам
«Благодаря возможностям искусственного интеллекта наш алгоритм выстраивает сложные связи между движениями мышц и выражениями лица, которые люди не могут воспринимать», — говорит он. Ке Ли, один из соавторов исследования. «Его можно использовать для извлечения очень сложной информации: всей передней части лица». Исследование опубликовано в журнале Труды Ассоциации вычислительной техники по интерактивным, мобильным, носимым и вездесущим технологиям. И я связываю это с вами здесь.
Команда протестировала сонар EarIO на 16 участниках, запустив алгоритм на обычном смартфоне. И устройство могло реконструировать выражения лица, как это могла бы делать обычная камера/видеокамера. Фоновые шумы, такие как ветер, разговоры или уличный шум, ни в малейшей степени не мешали его способности распознавать лица.
Технология от 007
Исследователи отмечают, что сонар имеет ряд преимуществ перед использованием одного телекамера. Акустические данные потребляют гораздо меньше энергии и вычислительной мощности, что позволяет использовать более компактные и легкие устройства. Камеры также могут собирать много дополнительной личной информации, которой пользователи могут не захотеть делиться, поэтому сонар может быть безопаснее.
Конечно, развивая свое воображение, я представляю себе подобную технологию, бесшумно «вживленную» в обычный наушник, и думаю, что она может удаленно передавать движения и выражения губ, в том числе в целях наблюдения. Однако на этот раз я вижу для него более практическое применение.
Который? Прежде всего, те, кто работает в игровом секторе: практический способ воспроизвести физическое выражение лица на цифровом аватаре для игр, виртуальной реальности или метавселенной. Сейчас команда работает над тем, чтобы исключить другие помехи, например, когда пользователь поворачивает голову, и упростить систему обучения алгоритма ИИ.
Посмотрим. То есть услышать. Короче, ты понял.
