Впервые международная команда инженеров и компьютерщиков разработала технологию, которая сочетает радиочастотное зондирование с искусственным интеллектом для чтения по губам и определения его движений.
Современные слуховые аппараты помогают людям с потерей слуха, усиливая все звуки в окружающей среде, что полезно в нескольких приложениях. Однако в шумных условиях широкий спектр усиления этих устройств может помешать пользователям сосредоточиться на конкретных звуках. Например, разговор с определенным человеком.
Возможным решением этой проблемы, известной как «эффект коктейля», является создание «умных» слуховых аппаратов. Новые устройства, сочетающие традиционное усиление звука со вторым устройством, собирающим дополнительные данные для повышения производительности.
Уникальное издание для чтения по губам
В новой статье, опубликованной сегодня в журнале Природа связи (Я связываю это здесь), Команда под руководством Университета Глазго демонстрирует использование передовой технологии обнаружения для чтения по губам. Их система сохраняет конфиденциальность, собирая только радиочастотные данные, не используя отснятый материал (и, следовательно, не создавая проблем с конфиденциальностью, по крайней мере, на изображениях).
Чтобы разработать систему, исследователи попросили добровольцев мужского и женского пола повторить пять гласных (A, E, I, O и U) сначала без маски, а затем в хирургической маске. Их лица сканировались как с закрытыми ртами, так и во время произношения с использованием радиочастотных сигналов от специального радиолокационного датчика и передатчика Wi-Fi.
3.600 образцов данных, собранных с помощью сканирования, были использованы для «обучения» алгоритмов машинного и глубокого обучения распознаванию характерных движений рта и чтению по губам, связывая каждое движение со звуком.
Каков же результат?
Система показала точность 95% для незамаскированных губ и 83% для замаскированных. Впечатляющий.
Доктор Каммер Аббаси из Университета Глазго, ведущий автор статьи, объясняет проделанную работу. «Около 5% населения мира, 430 миллионов человек, страдают той или иной формой нарушение слуха. Слуховые аппараты изменили жизнь многих из них. Новые технологии, которые собирают данные для улучшения усиления звука, могут сделать решающий шаг вперед».
Вкратце: это исследование показывает, что радиочастотные сигналы и даже сигналы Wi-Fi могут позволить вам читать по губам, даже если они закрыты маской. Я оставляю размышления о «негативном» использовании этой технологии на усмотрение каждого и сосредотачиваюсь только на положительных аспектах.
Будущие мультимодальные слуховые аппараты разрушят любые различия между людьми, переведя эти 5% населения мира с проблемами слуха на ту же «длину волны» (надо сказать), что и все остальные.
