Исследователи из Университета Сан-Франциско разработали нейронный интерфейс, который позволяет неречевым пациентам «говорить» через устройство.
Это важная веха в области нейронного протезирования: система отслеживает активность мозга и преобразует ее в слова с помощью искусственного голоса (как, например, у голосовых помощников Google или Amazon). Программное обеспечение очень продвинутое и включает в себя точную виртуальную реконструкцию гортани, языка, губ и челюсти.
Почему мы теряем слово?
Пациенты теряют способность говорить по разным причинам: дегенеративные заболевания, несчастные случаи или повреждения головного мозга. Уже используемые технологии позволяют некоторым произносить несколько слов, «переводя» небольшие движения лица или используя другие механизмы, которые в любом случае делают общение очень долгим и трудоемким.
Нейронный интерфейс, изученный в Сан-Франциско, напрямую преобразует активность мозга в естественную речь, используя инфраструктуру, которая «имитирует» то, как речевые центры координируют движения речевого тракта.
«Взаимосвязь между движениями речевого тракта и звуками слов действительно сложна», игра в кости Гопала АнуманчипаллиОдин из исследователей, участвующих в проекте. «Мы подумали, что если эти языковые центры кодируют движения и каким-то образом их транслируют, мы тоже сможем проделать эту операцию, исходя из сигналов мозга».
Из чего он состоит?
По этой причине команда создала «виртуальный» речевой тракт, который использует машинное обучение, чтобы постепенно воспроизводить все более и более правильные звуки. Группа добровольцев произносит определенные предложения, в то время как активность их мозга отслеживается: используемый искусственный интеллект сканирует эти сигналы и сравнивает их с движениями речевого тракта, чтобы понять, как именно они преобразуются в этот конкретный звук.
«У нас есть способность идеально имитировать разговорную речь», игра в кости Джош ШартьеДругой из исследователей. «Мы уже находимся на очень продвинутой стадии развития более медленных и мягких звуков, таких как «ш» или «з», но у нас есть трудности с усеченными звуками, такими как «б» и «п». Однако уровень точности увеличивается с поразительной скоростью благодаря использованию машинного обучения».
«Люди, которые не могут двигать руками и ногами, научились управлять роботизированным протезированием с помощью мозга», Chartier продолжается. «Мы уверены, что однажды люди с нарушениями речи снова научатся говорить с помощью этого голосового протеза».
Опубликовано в природе
