Оценка достоверности процесса регистрации изображений

Предыстория:

Предположим, что есть два снимка одной и той же сцены с двух разных точек зрения. Применение к ним алгоритма регистрации приведет к матрице гомографии, которая представляет отношение между ними. Деформация одного из них с использованием этой матрицы гомографии (теоретически) приведет к двум идентичным изображениям (если игнорировать неразделяемую область).

Поскольку совершенства не существует, два изображения могут не быть абсолютно идентичными, мы можем найти некоторые различия между ними, и эти различия могут быть явно показаны при их вычитании.

Пример:

Сцена 1 Сцена 2

Сцена 2 преобразована в сцену 1

AbsDiff(Сцена 1, Сцена 2 преобразована в сцену 1)

Кроме того, условия освещения могут привести к огромной разнице при вычитании.

Проблема:

Я ищу метрику, по которой я могу оценить точность процесса регистрации. Этот показатель должен быть:

  1. Нормализованный: 0->1 измерение, которое не относится к типу изображения (природная сцена, текст, человек...). Например, если два совершенно разных процесса регистрации на совершенно разных парах фотографий имеют одинаковую достоверность, скажем, 0,5, это означает, что произошла одна и та же хорошая (или плохая) регистрация. Это должно применяться, даже если одна из пары предназначена для очень детальных фотографий, а другая на белом фоне с надписью «Привет» черным цветом.

  2. Различие между точностью совмещения и различными условиями освещения. Хотя существует множество способов устранить эту разницу и сделать два изображения примерно одинаковыми, я ищу измерения, которые не учитывают их, а не фиксируют. их (проблема производительности).

Одно из первых, что пришло в голову, это суммировать абсолютные различия двух изображений. Однако это приведет к появлению числа, представляющего ошибку. Это число не имеет значения, если вы хотите сравнить его с другим процессом регистрации, потому что другие изображения с лучшей регистрацией, но с большей детализацией могут дать большую ошибку, а не меньшую.

Простите за длинный пост. Я рад предоставить любую дополнительную информацию и сотрудничать в поиске решения.

P.S. Использование OpenCV приемлемо и предпочтительно.


person Humam Helfawi    schedule 08.01.2016    source источник


Ответы (2)


В этой задаче два изображения решают, насколько они смещены.

Вот почему мы сделали регистрацию. Подход к регистрации не может ответить сам на себя, насколько плохо он выполнил свою работу, потому что, если бы он знал об этом, он бы это сделал.

Только в абсолютно правильном случае мы знаем результат: 0

Вы хотите детерминированный ответ? вы добавляете детерминированный ввод.

красный квадрат в заданном фиксированном положении, который можно измерить, насколько он повернут - переведен в масштабе. В условиях лаборатории этого можно добиться.

person gpasch    schedule 09.01.2016
comment
Я частично согласен с вами. Но иногда вы понимаете, что регистрация не была идеальной, но вам приходится останавливаться из-за проблем с производительностью. - person Humam Helfawi; 09.01.2016

Вы всегда можете использовать инвариантные функции (освещение/масштаб/поворот) в обоих изображениях. Например, функции SIFT.

Когда вы сопоставите их, используя типичное соотношение (между ближайшим и следующим ближайшим), у вас будет большой набор совпадений. Вы можете рассчитать гомографию, используя свой метод или используя RANSAC для этих совпадений. В любом случае, для любого кандидата на гомографию можно подсчитать количество совпадений признаков (из всех), которые согласуются с моделью. Число, деленное на общее количество совпадений, дает вам показатель качества модели от 0 до 1.

Если вы используете RANSAC, используя совпадения для расчета гомографии, метрика качества уже встроена.

person Photon    schedule 08.01.2016
comment
Спасибо. Это правда, но это не норма... и именно это я и делаю прямо сейчас. хотя я уверен, что это от 0 до 1, но это сильно отличается между парой и другим - person Humam Helfawi; 08.01.2016
comment
кроме того, вы можете получить идеальную регистрацию всего по 4 баллам, если они на 100% точны. В то же время это измерение будет таким низким, если, например, оно составляет всего 4 из 1000 характерных точек. - person Humam Helfawi; 08.01.2016
comment
Неважно, сколько точек используется для вычисления гомографии, вы все равно можете подсчитать, сколько точек, преобразованных с помощью гомографии, дают те же координаты, что и совпадающий объект. Если гомография верна и для сцены, которая не является вырожденной, вы должны получить высокое соотношение. - person Photon; 08.01.2016
comment
да, я имею в виду всего 4 вставки с очень строгим порогом. Я считаю, что вы не можете зависеть от количества совпадающих точек для оценки матрицы гомографии. - person Humam Helfawi; 08.01.2016
comment
Что ж, если ваша сцена такова, что только 4 совпадения точек определяют гомографию, а все остальные совпадения не согласуются, вам, вероятно, не следует использовать гомографию, так как различия в глубине настолько велики, что это не очень хорошая модель. Гомография работает лучше всего, когда сцена плоская. - person Photon; 08.01.2016
comment
просто крайний случай, чтобы прояснить мою точку зрения. это планер в реале - person Humam Helfawi; 08.01.2016