Сшивание видео (изображения) в реальном времени

Я думаю о сшивании изображений с 2 ​​или более (в настоящее время, возможно, 3 или 4) камер в режиме реального времени с использованием OpenCV 2.3.1 в Visual Studio 2008.

Однако мне интересно, как это делается.

Недавно я изучил некоторые приемы метода сшивки изображений на основе признаков.

Для большинства из них требуется как минимум следующий шаг:

1. Обнаружение признаков 2. Сопоставление признаков 3. Поиск гомографии 4. Преобразование целевых изображений в эталонные изображения и т. д.

Теперь большинство методов, которые я читал, имеют дело только с изображениями «ОДИН РАЗ», в то время как я хотел бы, чтобы они работали с серией изображений, снятых с нескольких камер, и я хочу, чтобы это было «РЕАЛЬНОЕ ВРЕМЯ».

Пока это может звучать запутанно. Я описываю детали:

Поставьте 3 камеры под разными углами и положениями, при этом каждая из них должна иметь области перекрытия с соседней, чтобы построить сшивку видео в РЕАЛЬНОМ ВРЕМЕНИ.

То, что я хотел бы сделать, похоже на содержимое следующей ссылки, где используется ASIFT.

http://www.youtube.com/watch?v=a5OK6bwke3I

Я пытался проконсультироваться с владельцем этого видео, но не получил от него ответа :(.

Могу ли я использовать методы сшивания изображений для сшивания видео? Само видео состоит из серии изображений, поэтому мне интересно, возможно ли это. Однако обнаружение характерных точек кажется очень трудоемким, какой бы детектор признаков (SURF, SIFT, ASIFT и т. д.) вы ни использовали. Это заставляет меня сомневаться в возможности сшивания видео в реальном времени.


person SilentButDeadly JC    schedule 02.05.2012    source источник
comment
У вас когда-нибудь что-нибудь работало?   -  person speedplane    schedule 25.02.2013
comment
youtube.com/watch?v=QzDpMsVgjxg   -  person SilentButDeadly JC    schedule 26.02.2013
comment
Я использовал эту услугу с большим успехом. unbouncepages.com/panoslide   -  person Andreas    schedule 26.02.2016


Ответы (2)


Я работал над системой сшивания видео в реальном времени, и это сложная проблема. Я не могу раскрыть полное решение, которое мы использовали из-за NDA, но я реализовал что-то похожее на описанное в этой статье. Самая большая проблема — справиться с объектами на разной глубине (простых омографий недостаточно); Необходимо определить несоответствие глубины и соответствующим образом деформировать видеокадры, чтобы выровнять общие черты. По сути, это проблема стереозрения. изображения должны быть сначала исправлены, чтобы общие черты отображались на одной строке сканирования.

person wcochran    schedule 15.05.2012
comment
В настоящее время я пишу свои коды в Visual Studio 2010. Мой профессор сказал мне сначала разработать его на ПК, и, конечно, это почти невозможно в реальном времени. До сих пор я только что выполнял обнаружение и сопоставление функций с помощью OpenCV 2.3.1. В результате выполнение шагов (обнаружение функций (SURF) и сопоставление, включая удаление выбросов с помощью RANSAC) занимает почти 3 секунды, а частота кадров очень и очень ужасна... - person SilentButDeadly JC; 20.05.2012
comment
Мой проф. будет ли кто-то реализовать это на FPGA o Я должен сначала закончить все необходимые алгоритмы, а затем позволить кому-то реализовать это на FPGA, потому что я не знаком с этим. Я просто думал реализовать для этого методы сшивания изображений на основе признаков. То есть поместить их в бесконечный цикл, в то время как (True) непрерывно выполнять сшивку изображений из 2 или 3 изображений, снятых с 3 разных камер. - person SilentButDeadly JC; 20.05.2012
comment
Кроме того, спасибо за ваш ответ, конечно. Я просто подумал, что мой вопрос будет слишком глупым, чтобы его увидели :(. - person SilentButDeadly JC; 20.05.2012

Вас также может заинтересовать мой проект, сделанный несколько лет назад. Это программа, которая позволяет вам экспериментировать с различными параметрами шитья и наблюдать за результатами в режиме реального времени.

Страница проекта — https://github.com/lukeyeager/StitcHD

Демонстрационное видео – https://youtu.be/mMcrOpVx9aY?t=3m38s

person Luke Yeager    schedule 25.09.2015
comment
Очень хорошие демонстрационные видеоролики, действительно ли легко запустить проект? - person theAlse; 21.12.2016
comment
нам нужно запустить его в визуальной студии? - person Anirudh; 07.02.2018