Как преобразовать изображение cv2 в skimage?

Я читаю изображение с камеры в формате cv2.COLOR_RGB2BGR. Ниже приведена временная работа для того, чего я пытаюсь достичь:

import cv2
from skimage import transform, io

...
_, img = cam.read()
img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)
cv2.imwrite("temp.png", img)
img = io.imread("temp.png", as_gray=True)
img = transform.resize(img, (320, 240), mode='symmetric', preserve_range=True)

Я нашел один способ сделать это преобразование из этот пост, однако, кажется что данные изображения не такие, как если бы я прочитал одно и то же изображение из пути?

Из этой документации я узнал, что могу использовать img_as_float(cv2_img), но это преобразование не дает того же результата, что и io.imread("temp.png", as_gray=True)

Как правильно выполнить это преобразование? Должен ли я сначала преобразовать изображение обратно в RGB, а затем использовать img_as_float()?


python cv2 image-conversion scikit-image
person Ietpt123    schedule 24.02.2021    source источник
comment
В вашем вопросе отсутствует много необходимых деталей, и, честно говоря, это довольно запутанно. Я предполагаю, что _, img = cam.read() - это вызов OpenCV VideoCapture !? Тогда почему вы конвертируете с помощью cv2.COLOR_RGB2BGR? img уже находится в цветовом пространстве BGR при использовании функций OpenCV. Затем вы сохраняете цветное изображение, но загружаете его в оттенках серого!? Какой конверсии вы на самом деле хотите достичь? Не могли бы вы описать желаемое преобразование словами? В общем: изображения OpenCV являются изображениями skimage, поскольку обе библиотеки используют массивы NumPy для представления изображений. Цветовое пространство, обработка типов данных различаются, да.   -  person HansHirse    schedule 25.02.2021
comment
@HansHirse Я упомянул в вопросе, что это входящий формат изображения cv2, которое я получаю. Код приведен для иллюстрации, но на самом деле я не контролирую первые две строки. Насколько я понимаю, использование io.imread(as_grey) приведет к немного другому изображению, чем преобразование изображения в оттенки серого с использованием cv2.   -  person Ietpt123    schedule 25.02.2021
comment
@HansHirse все, что мне нужно сделать, это преобразовать это изображение bgr cv2 в изображение, которое было бы идентичным, как если бы я сначала сохранил изображение на диск, а затем перезагрузил изображение с помощью io.imread(), потому что, опять же, я прочитал это прямое преобразование из методы, которые я нашел, дадут похожее, но немного другое изображение, чем запись, а затем перезагрузка. Я также спрашиваю, не ошибаюсь ли я в этом предположении.   -  person Ietpt123    schedule 25.02.2021

Ответы (1)


arrow_upward
2
arrow_downward

Я полагаю, основная проблема, с которой вы сталкиваетесь, — это разные вычисления luma, используемые OpenCV и scikit-изображение:

  • OpenCV uses: 
    Y = 0.299 * R + 0.587 * G + 0.114 * B
  • scikit-image uses: 
    Y = 0.2125 * R + 0.7154 * G + 0.0721 * B

Давайте проведем несколько тестов — например, используя следующее изображение:

Паддингтон

import cv2
import numpy as np
from skimage import io

# Assuming we have some kind of "OpenCV image", i.e. BGR color ordering
cv2_bgr = cv2.imread('paddington.png')

# Convert to grayscale
cv2_gray = cv2.cvtColor(cv2_bgr, cv2.COLOR_BGR2GRAY)

# Save BGR image
cv2.imwrite('cv2_bgr.png', cv2_bgr)

# Save grayscale image
cv2.imwrite('cv2_gray.png', cv2_gray)

# Convert to grayscale with custom luma
cv2_custom_luma = np.uint8(0.2125 * cv2_bgr[..., 2] + 0.7154 * cv2_bgr[..., 1] + 0.0721 * cv2_bgr[..., 0])

# Load BGR saved image using scikit-image with as_gray; becomes np.float64
sc_bgr_w = io.imread('cv2_bgr.png', as_gray=True)

# Load grayscale saved image using scikit-image without as_gray; remains np.uint8
sc_gray_wo = io.imread('cv2_gray.png')

# Load grayscale saved image using scikit-image with as_gray; remains np.uint8
sc_gray_w = io.imread('cv2_gray.png', as_gray=True)

# OpenCV grayscale = scikit-image grayscale loaded image without as_gray? Yes.
print('Pixel mismatches:', cv2.countNonZero(cv2.absdiff(cv2_gray, sc_gray_wo)))
# Pixel mismatches: 0

# OpenCV grayscale = scikit-image grayscale loaded image with as_gray? Yes.
print('Pixel mismatches:', cv2.countNonZero(cv2.absdiff(cv2_gray, sc_gray_w)))
# Pixel mismatches: 0

# OpenCV grayscale = scikit-image BGR loaded (and scaled) image with as_gray? No.
print('Pixel mismatches:', cv2.countNonZero(cv2.absdiff(cv2_gray, np.uint8(sc_bgr_w * 255))))
# Pixel mismatches: 131244

# OpenCV grayscale with custom luma = scikit-image BGR loaded (and scaled) image with as_gray? Almost.
print('Pixel mismatches:', cv2.countNonZero(cv2.absdiff(cv2_custom_luma, np.uint8(sc_bgr_w * 255))))
# Pixel mismatches: 1

Понимаете:

  • При открытии изображения в градациях серого scikit-image просто использует значения np.uint8, независимо от того, используется as_gray=True или нет.
  • При открытии цветного изображения с помощью as_gray=True scikit-image применяет rgb2gray, масштабирует все значения до 0.0 ... 1.0, поэтому использует np.float64. Даже обратное масштабирование до 0 ... 255 и np.uint8 приводит к большому несоответствию пикселей между этим изображением и изображением в градациях серого OpenCV из-за разных расчетов яркости.
  • При расчете яркости вручную и соответственно rgb2gray полутоновое изображение OpenCV практически идентично. Несоответствие в один пиксель может быть связано с неточностями с плавающей запятой.
----------------------------------------
System information
----------------------------------------
Platform:      Windows-10-10.0.16299-SP0
Python:        3.9.1
NumPy:         1.20.1
OpenCV:        4.5.1
scikit-image:  0.18.1
----------------------------------------
person HansHirse    schedule 25.02.2021