Компьютерная лаборатория, работающая над упрощением взаимодействия человека с компьютером для людей всех способностей, разработала цифровую систему чтения по губам с собственной системой машинного обучения, чтобы помочь пользователю лучше понять.
Тип губ изобретение профессора Ахмед Саббир Ариф и его лаборатория. Короче: прочтите движение губ. Он так хорошо его читает, что позволяет людям отправлять текстовые сообщения или электронные письма на ПК и смартфоны, а также бесконтактно взаимодействовать с общедоступными устройствами, такими как банкоматы или другие киоски. не говоря вслух.
Существуют и другие устройства для чтения по губам, но они не используются широко, потому что они медленные и часто неисправны.
Скачок вперед
При диктовке очень много ошибок, особенно в шумных местах. Люди с языковыми проблемами также не могут понять себя, возможно, из-за акцента. LipType работает для всех. Людям может потребоваться отправить личное сообщение в общественном месте или на встрече, а с LipType они могут просто шевелить губами, не издавая звука.
Ариф его ученики добавили разные фильтры с разными алгоритмами. искусственный интеллект чтобы можно было читать по губам в различных условиях освещения. Затем они представили корректор ошибок, основанный на различных языковых моделях, и обнаружили, что LipType был значительно быстрее, чем другие существующие устройства.
Тест на чтение по губам
В дополнение к тесту программного обеспечения лаборатория Арифа провела социальное исследование, чтобы выяснить, будут ли люди использовать такую технологию. Они обратились к студентам и людям из местного сообщества, включая людей с ограниченными возможностями, и провели онлайн-опрос. Реакция была восторженной.
Результаты тестирования программного обеспечения также были выдающимися. «LipType работает на 58% быстрее, чем другие модели», - говорит исследователь. Лакшми Пандей. «Устройство отлично зарекомендовало себя в различных условиях реального мира, при слабом освещении и шумах. Успех LipType заставляет меня поверить, что он может революционизировать наше взаимодействие друг с другом и с ИТ-устройствами ».
Социальное исследование и исследование LipType для чтения с губ были приняты для публикации и презентации на ведущей международной конференции по взаимодействию человека и компьютера.
Возможные области применения считывателя губ LipType
Есть несколько возможных применений этой системы чтения по губам. Очевидно, что LipType может приблизить людей с ограниченными возможностями к цифровым инструментам. Во многих случаях правоохранительным органам может быть полезно понять, что происходит в сценариях, в которых они не могут получить доступ путем прослушивания. Автомобильные интерфейсы также могут быть полезны, так что вы можете писать сообщения даже во время прослушивания музыки. Для всего существует философия дизайна: предел - это воображение.
