Современные сенсорные системы требуют сложных компонентов и сложных алгоритмов, которые анализируют кадр за кадром, что делает их неэффективными и энергозатратными.
Новая нейроморфная технология, вдохновленная зрительной системой человека, объединяет сенсор, память и обработку в одном устройстве. И он способен не только обнаруживать движение объектов, но и предсказывать их траектории.
Сенсор, который видит и предсказывает только по одному кадру
Нейроморфный датчик, разработанный Университетом Аалто в Финляндии, основан на группе фотомемристоров, электрических устройств, которые производят электрический ток в ответ на свет.
Когда свет гаснет, ток не прекращается сразу, а постепенно уменьшается. На практике фотомемристоры «запоминают», подвергались ли они недавно воздействию света, позволяя датчику записывать не только мгновенную информацию, но и хранить предыдущие моменты.
Хунвэй Тан исследователь, который руководил исследованием, опубликованным в Nature Communications (Я связываю это здесь). По его словам, уникальной особенностью этой технологии является возможность объединить серию оптических изображений в один кадр. Результатом является компактный и эффективный блок обнаружения.
Изображение: Хунвэй Тан / Университет Аалто
Исследования
Чтобы продемонстрировать работоспособность технологии, исследователи провели два очень интересных эксперимента.
В первом, они использовали видеоролики, на которых буквы слова показаны по одной. Нейроморфный датчик смог использовать информацию, скрытую в последнем кадре, чтобы определить, какие буквы ему предшествовали, и предсказать почти со 100% точностью, что это за слово.
В секунду, команда показала сенсорное видео смоделированного человека, движущегося с тремя разными скоростями. Система не только смогла распознать движение, проанализировав один кадр, но и правильно предсказала последующие кадры.
Будущее
Для чего этот датчик? Распознавание и точное прогнозирование будущего движения и местоположения объектов имеет решающее значение для технологий автономного вождения и интеллектуального транспорта.
Чтобы «принимать решения», автономным транспортным средствам необходимы высокоточные прогнозы о том, как автомобили, велосипеды, пешеходы и другие объекты движутся вокруг них.
По этой причине, даже без датчиков, для этой технологии легко предсказать следующий кадр, действительно: успешный кадр.
