Коррекция перекоса Python OpenCV для OCR

Вот реализация метода профиля проекции для определения перекоса. После получения двоичного изображения идея состоит в том, чтобы повернуть изображение под разными углами и создать гистограмму пикселей на каждой итерации. Чтобы определить угол наклона, мы сравниваем максимальную разницу между пиками и, используя этот угол наклона, поворачиваем изображение, чтобы исправить перекос.

Левый (исходный), Правый (исправленный)

import cv2
import numpy as np
from scipy.ndimage import interpolation as inter

def correct_skew(image, delta=1, limit=5):
    def determine_score(arr, angle):
        data = inter.rotate(arr, angle, reshape=False, order=0)
        histogram = np.sum(data, axis=1)
        score = np.sum((histogram[1:] - histogram[:-1]) ** 2)
        return histogram, score

    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1] 

    scores = []
    angles = np.arange(-limit, limit + delta, delta)
    for angle in angles:
        histogram, score = determine_score(thresh, angle)
        scores.append(score)

    best_angle = angles[scores.index(max(scores))]

    (h, w) = image.shape[:2]
    center = (w // 2, h // 2)
    M = cv2.getRotationMatrix2D(center, best_angle, 1.0)
    rotated = cv2.warpAffine(image, M, (w, h), flags=cv2.INTER_CUBIC, \
              borderMode=cv2.BORDER_REPLICATE)

    return best_angle, rotated

if __name__ == '__main__':
    image = cv2.imread('1.png')
    angle, rotated = correct_skew(image)
    print(angle)
    cv2.imshow('rotated', rotated)
    cv2.imwrite('rotated.png', rotated)
    cv2.waitKey()

ДОПУЩЕНИЯ:

1. Содержимое входного изображения не наклонено более чем на 45 градусов в любом направлении.
2. Все содержимое относительно хорошо вписывается в одну прямоугольную форму.
3. Вы уже применили пороговую обработку, а затем, возможно, алгоритмы эрозии или кластеризации, чтобы избавиться от шума.

РЕШЕНИЕ:

hgt_rot_angle = cv2.minAreaRect(your_CLEAN_image_pixel_coordinates_to_enclose)[-1]
com_rot_angle = hgt_rot_angle + 90 if hgt_rot_angle < -45 else hgt_rot_angle

(h, w) = my_input_image.shape[0:2]
center = (w // 2, h // 2)
M = cv2.getRotationMatrix2D(center, com_rot_angle, 1.0)
corrected_image = cv2.warpAffine(your_ORIGINAL_image, M, (w, h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)

ИСХОДНЫЙ ИСТОЧНИК:

https://www.pyimagesearch.com/2017/02/20/text-skew-correction-opencv-python/ - ВЕЛИКОЛЕПНОЕ руководство для начала работы (слава Адриану Роузброку), НО:

• Он работает с чистыми синтезированными изображениями текста и не имеет в себе шагов уменьшения шума или даже ссылок на них, только пороговое значение ... Однако в большинстве реальных сценариев изображения, которые нуждаются в повороте перед OCR, также нуждаются в выполнено значительное шумоподавление. Я пробовал операции эрозии OpenCV и алгоритм кластеризации DBSCAN scikit-learn, чтобы передать только «основные» пиксели в указанное выше решение, и оба они работали достаточно хорошо.
• Я думаю, что объяснение того, как интерпретировать значение угла, возвращаемое cv2.minAreaRect(), не совсем понятно, и в коде есть одна и та же переменная для обнаружения и для исправления, что еще более сбивает с толку. Я использовал отдельные переменные для ясности, и мое объяснение первых двух строк кода приведено ниже.
• Я должен со всем уважением не согласиться с тем, что нам нужно «принять обратный» угол поворота (строки 38 и 43 в учебнике) перед передачей значения функции cv2.getRotationMatrix2D(), на основе документации OpenCV и на основе моего тестирования. Подробнее об этом также ниже.

ОБЪЯСНЕНИЕ РЕШЕНИЯ:

Функция cv2.minAreaRect() возвращает значение угла поворота в диапазоне [-90, 0] в качестве последнего элемента возвращаемого кортежа, а значение угла привязано к значению HEIGHT в том же возвращаемом кортеже (если быть точным, оно находится в cv2.minAreaRect()[1][1], но мы не использовать его здесь).

Если угол поворота не равен -90.0 или 0.0, решение о том, какой размер выбран в качестве «высоты», не является произвольным - он всегда должен идти от верхнего левого угла к нижнему правому, то есть иметь отрицательный наклон.

Для нашего варианта использования это означает, что, в зависимости от соотношения ширины и высоты блока содержимого и от его наклона, значение "высоты", возвращаемое cv2.minAreaRect(), может быть либо логической высотой блока содержимого, либо шириной .