Исследователи Университет Карнеги-Меллона (CMU) разработали систему камер, которая может обнаруживать звуковые вибрации с таким уровнем точности, который позволяет воссоздавать звук без использования микрофона. Компания? Работа команды г. Институт робототехники (Род-Айленд) Школы компьютерных наук КМУ для создания системы, состоящей из двух камер и лазера.
Система камер может обнаруживать «высокоскоростные вибрации поверхности с низкой амплитудой», которые человеческий глаз не может видеть, говорится в сообщении университета. пресс-релиз.
Недорогие камеры, очень высокая производительность
Система оснащена обычными камерами, а не высокоскоростными, использованными в предыдущих исследованиях, что приведет к значительному снижению затрат. «Мы сделали оптический микрофон намного более практичным и удобным в использовании», — сказал он. Шриниваса Нарасимхан, профессор робототехники и заведующий лабораторией освещения и визуализации. «Мы улучшили качество при одновременном снижении затрат».
Алгоритм сравнивает спекл-паттерны, полученные затвором и глобальным затвором. Использует различия между моделями для расчета вибраций и воссоздания звука. Пятнистый узор (который в данном случае создается лазером) относится к поведению когерентного света в пространстве после его отражения от шероховатой поверхности. Это поведение меняется, когда поверхность вибрирует. Роликовый затвор быстро сканирует изображение от одного конца до другого, а роллетный затвор захватывает все изображение сразу.
«Эта система расширяет границы того, что можно сделать с помощью компьютерного зрения», — доцент Мэтью О'Тул, соавтор исследования. документ О системе он сказал. «Это новый механизм для улавливания высокоскоростных, крошечных вибраций, представляющий новую область исследований».
Изолируйте разные звуки с помощью обычной видеосъемки
Исследователи говорят, что им удалось изолировать звук одновременно играющих на гитарах. Они утверждают, что система смогла сфокусироваться на пакете чипсов и использовать только его вибрации для восстановления звука. Звук передавался через динамик с недостижимой ранее точностью.
Есть много потенциальных приложений для этой технологии. Исследователи предполагают, например, что система может отслеживать вибрации от машин на заводе, чтобы искать признаки проблем. Звукорежиссеры также могут изолировать звук от инструмента, чтобы улучшить микс. По сути, это может помочь устранить окружающий шум из аудиозаписей.
