Исследователи Университет Карнеги-Меллона (CMU) разработали систему камер, которая может обнаруживать звуковые вибрации с таким уровнем точности, который позволяет вам воссоздавать звук без выводов или микрофона. Компания? Работа команды г. Институт робототехники (Род-Айленд) Школы компьютерных наук КМУ для создания системы, состоящей из двух камер и лазера.
По словам представителей университета, система камер может обнаруживать «высокоскоростные низкоамплитудные поверхностные вибрации», невидимые человеческому глазу. пресс-релиз.
Недорогие камеры, очень высокая производительность
Система оснащена обычными камерами вместо высокоскоростных, использовавшихся в предыдущих исследованиях, что приведет к значительному снижению затрат. «Мы сделали оптический микрофон намного более практичным и удобным в использовании», — сказал он. Шриниваса Нарасимхан, профессор робототехники и заведующий лабораторией освещения и визуализации. «Мы улучшили качество при одновременном снижении затрат».
Алгоритм сравнивает шаблоны пятен, захваченных рольставнями и глобальными затворами. Используйте различия между моделями для расчета вибраций и воссоздания звука. Пятнистый рисунок (который в данном случае создается лазером) относится к поведению когерентного света в пространстве после его отражения от шероховатой поверхности. Это поведение меняется, когда поверхность вибрирует. Рольставни быстро сканируют изображение от одного конца до другого, в то время как роликовые затворы захватывают все изображение одновременно.
«Эта система раздвигает границы того, что можно сделать с помощью компьютерного зрения», — говорит доцент Мэтью О’Тул, соавтор исследования. документ в системе, сказал он. «Это новый механизм для улавливания высокоскоростных крошечных вибраций, представляющий собой новую область исследований».
Изолируйте разные звуки с помощью обычной видеосъемки
Исследователи говорят, что им удалось изолировать звук гитар, на которых играли одновременно. Они утверждают, что система смогла создать пакет с чипсами и использовать его вибрации только для воспроизведения звука. Звук передавался из громкоговорителя с невиданной ранее точностью.
Есть много потенциальных приложений для этой технологии. Исследователи предполагают, например, что система может отслеживать вибрации от машин на заводе, чтобы искать признаки проблем. Звукорежиссеры также могут изолировать звук от инструмента, чтобы улучшить микс. По сути, это может помочь устранить окружающий шум из аудиозаписей.
