Впервые международная команда инженеров и ученых-компьютерщиков разработала технологию, сочетающую радиочастотное обнаружение с искусственным интеллектом для чтения по губам и определения ее движений.
Современные слуховые аппараты помогают людям с потерей слуха, усиливая все окружающие звуки, что полезно в нескольких случаях. Однако в шумной обстановке широкий спектр усиления этих устройств может затруднить пользователям фокусировку на определенных звуках. Например, разговор с определенным человеком.
Одним из возможных решений этой проблемы, известной как «эффект коктейля», является создание «умных» слуховых аппаратов. Новые устройства, которые сочетают в себе обычное усиление звука со вторым устройством, которое собирает дополнительные данные для повышения производительности.
Уникальное издание для чтения по губам
В новой статье, опубликованной сегодня в журнале Природа связи (Я связываю это здесь), группа ученых из Университета Глазго демонстрирует использование передовой сенсорной технологии для чтения по губам. Их система сохраняет конфиденциальность, собирая только радиочастотные данные без использования видео (и, следовательно, без проблем с конфиденциальностью, по крайней мере, на изображениях).
Чтобы разработать систему, исследователи попросили добровольцев мужского и женского пола повторить пять гласных (A, E, I, O и U) сначала без маски, а затем в хирургической маске. Их лица сканировались как с закрытыми ртами, так и во время произношения с использованием радиочастотных сигналов от специального радиолокационного датчика и передатчика Wi-Fi.
3.600 образцов данных, собранных при сканировании, использовались для «обучения» алгоритмов машинного обучения и глубокого обучения распознаванию характерных движений рта и чтению по губам, связывая каждое движение со звуком.
Каков же результат?
Система показала точность 95% для губ без маски и 83% для губ с маской. Впечатляющий.
Доктор Каммер Аббаси из Университета Глазго, ведущий автор статьи, иллюстрирует проделанную работу. «Около 5% населения земного шара, 430 миллионов человек, имеют форму нарушение слуха. Слуховые аппараты помогли многим из них. Решающий шаг могут сделать новые технологии, которые собирают данные для улучшения усиления звука».
Подводя итог: это исследование показывает, что радиочастотные сигналы и даже сигналы Wi-Fi могут позволить вам читать по губам, даже если вы закрыты маской. Я оставляю воображению каждого думать о «негативных» способах использования этой технологии и сосредоточиваюсь только на положительных аспектах.
Будущие мультимодальные слуховые аппараты сломают любые различия между людьми, в результате чего 5% людей с нарушениями слуха в мире будут находиться на той же «длине волны» (надо сказать), что и все остальные.
