Биоинженеры из Калифорнийского университета в Лос-Анджелесе разработали устройство, похожее на перчатку, которое могло переводить язык жестов в понятные для прослушивания слова в реальном времени. Исследовательская работа был опубликован в журнале Nature Electronics.
Июнь чен, доцент кафедры биоинженерии Инженерной школы Самуэли Калифорнийского университета в Лос-Анджелесе, является ведущим автором исследования. «Мы надеемся, что эта технология станет простым инструментом для перевода языка жестов и прямого общения с теми, кто с ним незнаком, без необходимости в посреднике», — сказал он. «Мы также надеемся, что это поможет большему количеству людей самостоятельно выучить язык жестов».
Как делают переводные перчатки
Система состоит из пары носимых устройств. Это перчатки с тонкими и растяжимыми датчиками, которые управляют длиной каждого из пяти пальцев. Эти датчики, изготовленные из электропроводящей пряжи, обнаруживают движения рук и положение пальцев, указывая отдельные буквы, числа, слова и предложения.
Затем устройство преобразует движения пальцев в электрические сигналы, которые отправляются на запястье размером с монету. Карта передает эти сигналы по беспроводной связи на смартфон, который переводит язык жестов в слова со скоростью примерно одно слово в секунду.
Исследователи также добавили адгезивные датчики на лица тестеров (между бровями и краями рта), чтобы фиксировать выражения лица, которые являются частью языка жестов.
Переводить язык жестов проще
По словам Чена, предыдущие носимые системы, которые предлагали перевод на язык жестов, были ограничены громоздкими и тяжелыми устройствами или их было неудобно носить.
Устройство, разработанное командой UCLA, изготовлено из легких, экономичных, но долговечных и эластичных полимеров. Электронные датчики также очень гибкие и дешевые.
При тестировании устройства исследователи работали с четырьмя глухими людьми, которые используют язык жестов. Носильщики повторяли каждый жест рукой 15 раз. Специальный алгоритм машинного обучения преобразовал эти жесты в буквы, цифры и слова, которые они представляли. Система распознавала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9.
Совершенствование этой технологии позволит преодолеть важный барьер. Его миниатюризация гарантирует, что однажды вместо перчаток могут появиться простые носимые кольца, способные переводить язык жестов. Или он откроется для среды виртуальной реальности, в которой происходит немедленный диалог между всеми, независимо от языка (вербальный или невербальный) известный.
