Компьютерная лаборатория, работающая над упрощением взаимодействия человека с компьютером для людей с любыми способностями, разработала цифровое устройство для чтения по губам с собственной системой машинного обучения, которая помогает пользователю лучше понимать.
Тип губ Это изобретение профессора Ахмед Саббир Ариф и его лаборатория. Короче: прочтите движение губ. Он так хорошо его читает, что позволяет людям отправлять текстовые сообщения или электронные письма на ПК и смартфоны, а также бесконтактно взаимодействовать с общедоступными устройствами, такими как банкоматы или другие киоски. не говоря вслух.
Существуют и другие устройства для чтения по губам, но они не используются широко, потому что они медленные и часто неисправны.
Скачок вперед
В диктанте много ошибок, особенно в шумных местах. Людям с языковыми проблемами также трудно понять себя, возможно, из-за их акцента. LipType работает для всех. Людям может потребоваться отправить личное сообщение в общественном месте или на встрече, а с LipType они могут просто шевелить губами, не издавая звука.
Ариф его ученики добавили разные фильтры с разными алгоритмами. искусственный интеллект чтобы можно было читать по губам в различных условиях освещения. Затем они представили корректор ошибок, основанный на различных языковых моделях, и обнаружили, что LipType был значительно быстрее, чем другие существующие устройства.
Тест на чтение по губам
В дополнение к тесту программного обеспечения лаборатория Арифа провела социальное исследование, чтобы выяснить, будут ли люди использовать такую технологию. Они обратились к студентам и людям из местного сообщества, включая людей с ограниченными возможностями, и провели онлайн-опрос. Реакция была восторженной.
Результаты тестирования программного обеспечения также были выдающимися. «LipType работал на 58% быстрее, чем другие модели», — говорит исследователь. Лакшми Пандей. «Устройство доказало свою современность в различных реальных условиях, при слабом освещении и шуме. Успех LipType заставляет меня поверить, что он может революционизировать наше взаимодействие друг с другом и с компьютерными устройствами».
Социальное исследование и исследование устройства чтения по губам LipType были приняты к публикации и представлению на крупной международной конференции по взаимодействию человека и компьютера.
Возможные области применения считывателя губ LipType
Есть несколько возможных применений этой системы чтения по губам. Очевидно, что LipType может значительно приблизить людей с ограниченными возможностями к цифровым инструментам. Во многих случаях полиции было бы полезно понять, что происходит в сценариях, к которым они не могут получить доступ путем прослушивания. Автомобильные интерфейсы также могут оказаться полезными: писать сообщения можно даже во время прослушивания музыки. Для всего существует своя философия дизайна: пределом является ваше воображение.
