Преобразование изображений, снятых с помощью активного ИК-освещения, в стандартные изображения RGB для генерации логических выводов с помощью сверточной нейронной сети

Я создаю и обучаю CNN для задачи двоичной классификации. Я извлек изображения (кадры) из имеющейся у меня помеченной базы данных видео. В базе данных утверждается, что видео были записаны с помощью активного ИК-освещения. Кадры, которые я извлек как изображения, имеют трехканальную информацию.

Полученный в результате обученный алгоритм (модель CNN) будет развернут на встроенной плате, которая будет принимать видеопотоки со стандартной USB-камеры RGB и будет работать на уровне кадра поверх видеопотока.

Вопрос ЧАСТЬ-1: Теперь поправьте меня, если я ошибаюсь, но меня беспокоит - поскольку мои знания предполагают, что распределение данных для видео с активной ИК-подсветкой будет отличаться от распределения данных для стандартного канала RGB, будет ли эта модель работать с одинаковой точностью над изображениями RGB для классификации кадров?

Примечание 1. Хотя видео в базе данных выглядят так, как будто они имеют оттенки серого (из-за видимого серого тона видео, возможно, из-за активного ИК-освещения) по своей природе, после обработки было обнаружено, что они содержат информацию о трех каналах. .

Примечание 2: разница между значениями попиксельной 3-канальной информации значительно выше в обычных изображениях RGB по сравнению с изображениями (кадрами), извлеченными из базы данных. Например, в нормальном изображении RGB, если вы рассматриваете произвольно какой-либо конкретный пиксель, значения, соответствующие трем каналам, могут отличаться друг от друга. Это может быть что-то вроде (128, 32, 98) или (34, 209, 173) и т. Д. (Посмотрите на разницу между значениями в трех каналах.) В случае кадров, извлеченных из видео в базе данных, которые я есть, значения по трем каналам пикселя НЕ различаются так сильно, как в случае обычных изображений RGB - это что-то вроде (112, 117, 109) или (231, 240, 235) или ( 32, 34, 30) и т. Д. Я предполагаю, что это связано с тем, что видео в целом серые, для справки - похожие на черно-белый фильтр, но не совсем черно-белые.

Вопрос ЧАСТЬ 2: Было бы справедливо преобразовать изображения RGB в оттенки серого и дважды продублировать один канал, чтобы по сути сделать его трехканальным изображением?


person Arnav.Wadhwa    schedule 09.07.2019    source источник


Ответы (1)


Часть 1: нейронная сеть будет работать лучше всего с более контрастными каналами. И обучение одному типу изображений будет плохо работать с другим типом.

Часть 2: изображение RGB трехканальное. Было бы нонсенсом уравнивать каналы и терять полезную информацию.


Скорее всего, ваши ИК-изображения не в оттенках серого, они упакованы как изображение RGB для просмотра. Поскольку они очень похожи друг на друга, цвета очень ненасыщенные, то есть почти серые.

И, к сожалению, захват трех ИК-каналов бесполезен.

person Yves Daoust    schedule 09.07.2019