Исследователи из Университета Сан-Франциско разработали нейронный интерфейс, который позволяет пациентам, не используя слова, «говорить» через устройство.
Это веха в области нейронных протезов: система отслеживает активность мозга и преобразует ее в слова с помощью искусственного голоса (например, голосовых помощников Google или Amazon). Программное обеспечение очень продвинутое и включает точную виртуальную реконструкцию гортани, языка, губ и челюсти.
Почему мы теряем слово?
Пациенты теряют способность говорить по разным причинам: дегенеративное заболевание, несчастный случай или повреждение головного мозга. Уже используемые технологии позволяют некоторым произносить несколько слов, «переводя» небольшие движения лица или используя другие механизмы, которые в любом случае делают общение очень долгим и трудоемким.
Нейронный интерфейс, изученный в Сан-Франциско, напрямую переводит активность мозга в естественно звучащий язык, используя инфраструктуру, которая «имитирует» то, как языковые центры координируют движения голосового тракта.
«Взаимосвязь между движениями голосового тракта и звуками слов действительно сложна». игра в кости Гопала АнуманчипаллиОдин из исследователей, участвующих в проекте. «Мы подумали, что если эти языковые центры кодируют движения и каким-то образом их переводят, мы также можем выполнять эту операцию, исходя из сигналов мозга»..
Из чего он состоит?
Для этого команда создала «виртуальный» голосовой тракт, который использует машинное обучение для постепенного воспроизведения все более и более правильных звуков. Группа добровольцев произносит определенные фразы, в то время как активность их мозга контролируется: используемый искусственный интеллект сканирует эти сигналы и сравнивает их с движениями голосового тракта, чтобы точно понять, как они преобразуются в этот конкретный звук.
«У нас есть способность идеально имитировать разговорную речь», игра в кости Джош ШартьеДругой из исследователей. «Мы уже очень хорошо разбираемся в более медленных или мягких звуках, таких как «ш» или «з», но нам тяжело с усеченными звуками, такими как «б» и «п». Однако уровень точности повышается с удивительной скоростью благодаря использованию машинного обучения».
«Люди, которые не могут двигать руками и ногами, научились управлять роботизированными протезами с помощью своего мозга». Chartier продолжается. «Мы уверены, что когда-нибудь люди с нарушениями речи снова научатся говорить с помощью этого голосового протеза».
Опубликовано в природе
