Концепция оценки оптического потока

Ссылка: https://www.cs.toronto.edu/~fleet/research/Papers/flowChapter05.pdf

  1. Оценка временно плотного оптического потока на основе событий с помощью последовательных нейронных сетей (arXiv)

Автор: Вахиравит Понгиран, Чамика Михиранга Лиянагэдера, Каушик Рой.

Аннотация:В предыдущих работах по оценке оптического потока на основе событий было исследовано несколько методов обучения на основе градиента для обучения нейронных сетей предсказанию оптического потока. Однако они не используют высокую скорость передачи данных потоков данных о событиях и полагаются на пространственно-временное представление, построенное из набора событий за фиксированный период времени (часто между двумя кадрами в градациях серого). В результате оптический поток оценивается только на частоте, намного меньшей, чем данные о скорости, создаваемые камерой, основанной на событиях, что приводит к временной разреженной оценке оптического потока. Чтобы предсказать плотный во времени оптический поток, мы рассматриваем проблему как задачу последовательного обучения и предлагаем методологию обучения для обучения последовательных сетей непрерывному предсказанию потока событий. Мы предлагаем два типа сетей: одна ориентирована на производительность, а другая — на эффективность вычислений. Сначала мы обучаем сети долговременной памяти (LSTM) на наборе данных DSEC и продемонстрировали 10-кратную временную плотную оценку оптического потока по сравнению с существующими подходами к оценке потока. Дополнительное преимущество наличия памяти для отрисовки длинных временных корреляций назад во времени приводит к повышению точности прогнозирования потока LSTM на 19,7% по сравнению с аналогичными сетями без элементов памяти. Впоследствии мы показываем, что присущая импульсным нейронным сетям (SNN) повторяемость позволяет им изучать и оценивать плотный во времени оптический поток с параметрами, на 31,8% меньшими, чем у LSTM, но с немного увеличенной ошибкой. Это демонстрирует потенциал энергоэффективной реализации предсказания быстрого оптического потока с использованием SNN.

2.Adaptive-SpikeNet: оценка оптического потока на основе событий с использованием импульсных нейронных сетей с обучаемой нейронной динамикой(arXiv)

Автор: Адарш Кумар Коста, Каушик Рой

Аннотация .Камеры, основанные на событиях, в последнее время продемонстрировали большой потенциал для высокоскоростной оценки движения благодаря их способности асинхронно захватывать богатую во времени информацию. Шиповые нейронные сети (SNN) с их управляемой событиями обработкой, основанной на нейронах, могут эффективно обрабатывать такие асинхронные данные, в то время как модели нейронов, такие как интеграция с утечкой и запуск (LIF), могут отслеживать наиболее важную временную информацию, содержащуюся во входных данных. SNN достигают этого, поддерживая динамическое состояние в памяти нейронов, сохраняя важную информацию и забывая избыточные данные с течением времени. Таким образом, мы утверждаем, что SNN обеспечат лучшую производительность при выполнении задач последовательной регрессии по сравнению с аналоговыми нейронными сетями (ANN) аналогичного размера. Однако глубокие SNN трудно обучать из-за исчезающих всплесков на более поздних уровнях. С этой целью мы предлагаем адаптивную структуру с полными спайками с обучаемой динамикой нейронов, чтобы облегчить проблему исчезновения спайков. Мы используем обратное распространение во времени на основе суррогатного градиента (BPTT) для обучения наших глубоких SNN с нуля. Мы проверяем наш подход к задаче оценки оптического потока на наборе данных Multi-Vehicle Stereo Event-Camera (MVSEC) и наборе данных DSEC-Flow. Наши эксперименты с этими наборами данных показывают среднее снижение средней ошибки конечной точки (AEE) на 13% по сравнению с современными ИНС. Мы также изучили несколько моделей с уменьшенным масштабом и заметили, что наши модели SNN неизменно превосходят ANN аналогичного размера, предлагая на 10–16 % более низкую AEE. Эти результаты демонстрируют важность SNN для небольших моделей и их пригодность на периферии. С точки зрения эффективности, наши SNN обеспечивают значительную экономию параметров сети (в 48 раз) и вычислительной энергии (в 51 раз) при снижении EPE примерно на 10 % по сравнению с современными реализациями ANN.

3. Глубокая оценка оптического потока 360∘ на основе многопроекционного слияния (arXiv)

Автор:Ихэн Ли, Коннелли Барнс, Кун Хуан, Фан-Люэ Чжан

Вывод:Вычисление оптического потока необходимо на ранних этапах конвейера обработки видео. В этой статье основное внимание уделяется менее изученной проблеме в этой области — оценке оптического потока 360∘ с использованием глубоких нейронных сетей для поддержки все более популярных приложений виртуальной реальности. Чтобы устранить искажения панорамных представлений при применении сверточных нейронных сетей, мы предлагаем новую структуру слияния с несколькими проекциями, которая объединяет оптический поток, предсказанный моделями, обученными с использованием различных методов проекции. Он учится комбинировать дополнительную информацию в результатах оптического потока в разных проекциях. Мы также создаем первый крупномасштабный набор данных панорамного оптического потока для поддержки обучения нейронных сетей и оценки методов оценки панорамного оптического потока. Результаты экспериментов с нашим набором данных показывают, что наш метод превосходит существующие методы и другие альтернативные глубинные сети, которые были разработаны для обработки 360-градусного контента.△ Меньше