Современные сенсорные системы требуют сложных компонентов и сложных алгоритмов, которые анализируют кадр за кадром, что делает их неэффективными и энергозатратными.
Новая нейроморфная технология, вдохновленная зрительной системой человека, объединяет сенсор, память и обработку в одном устройстве. И он способен не только обнаруживать движение объектов, но и предсказывать их траектории.
Сенсор, который видит и предсказывает только по одному кадру
Нейроморфный датчик, разработанный Университетом Аалто в Финляндии, основан на группе фотомемристоров, электрических устройств, которые производят электрический ток в ответ на свет.
Когда свет гаснет, ток не прекращается сразу, а постепенно уменьшается. На практике фотомемристоры «запоминают», подвергались ли они недавно воздействию света, что позволяет сенсору записывать не только мгновенную информацию, но и запоминать предыдущие мгновения.
Хунвэй Тан исследователь, который руководил исследованием, опубликованным в Nature Communications (Я связываю это здесь). Уникальной особенностью этой технологии, объясняет он, является возможность интегрировать серию оптических изображений в один кадр. В результате получается компактный и эффективный блок съемки.
Изображение: Хунвэй Тан / Университет Аалто
Исследования
Чтобы продемонстрировать работоспособность технологии, исследователи провели два очень интересных эксперимента.
В первом, они использовали видеоролики, которые показывают буквы слова по одной. Нейроморфный датчик смог использовать скрытую информацию в последнем кадре, чтобы определить, какие буквы ему предшествовали, и почти со 100% точностью предсказать, что это за слово.
В секунду, команда показала сенсорное видео смоделированного человека, движущегося с тремя разными скоростями. Система не только смогла распознать движение, проанализировав один кадр, но и правильно предсказала последующие кадры.
Будущее
Для чего этот датчик? Распознавание и точное прогнозирование будущего движения и местоположения объектов имеет решающее значение для технологий автономного вождения и интеллектуального транспорта.
Чтобы «принимать решения», автономным транспортным средствам нужны высокоточные прогнозы того, как автомобили, велосипеды, пешеходы и другие объекты движутся вокруг них.
По этой причине, даже без датчиков, для этой технологии легко предсказать следующий кадр, действительно: успешный кадр.
