Преобразование изображения с использованием углов Roll-Pitch-Yaw (исправление изображения)

Итак, вот что я в итоге сделал: я понял, что если вы на самом деле не имеете дело с 3D-изображениями, исправление перспективы фотографии — это 2D-операция. Имея это в виду, я заменил значения матрицы преобразования по оси Z нулями и единицами и применил к изображению двухмерное аффинное преобразование.

Вращение исходного изображения (см. исходный пост) с измеренным значением Roll = -10 и Pitch = -30 было выполнено следующим образом:

R_rotation = R_y(-60)*R_x(10); 
R_2d       = [   R_rot(1,1)  R_rot(1,2) 0; 
                 R_rot(2,1)  R_rot(2,2) 0;
                 0           0          1    ] 

Это подразумевает поворот платформы камеры в ориентацию виртуальной камеры, при которой камера размещается над сценой и направлена ​​прямо вниз. Обратите внимание на значения, используемые для крена и тангажа в приведенной выше матрице.

Кроме того, при вращении изображения так, чтобы оно совпадало с заголовком платформы, может быть добавлен поворот вокруг оси Z, что дает:

R_rotation = R_y(-60)*R_x(10)*R_z(some_heading); 
R_2d       = [   R_rot(1,1)  R_rot(1,2) 0; 
                 R_rot(2,1)  R_rot(2,2) 0;
                 0           0          1    ] 

Обратите внимание, что это не меняет фактическое изображение, а только поворачивает его.

В результате исходное изображение, повернутое вокруг осей Y и X, выглядит так:

Полный код для выполнения этого преобразования, показанный выше, был таким:

% Load image
img = imread('initial_image.jpg'); 

% Full rotation matrix. Z-axis included, but not used.
R_rot = R_y(-60)*R_x(10)*R_z(0); 

% Strip the values related to the Z-axis from R_rot
R_2d  = [   R_rot(1,1)  R_rot(1,2) 0; 
            R_rot(2,1)  R_rot(2,2) 0;
            0           0          1    ]; 

% Generate transformation matrix, and warp (matlab syntax)
tform = affine2d(R_2d);
outputImage = imwarp(img,tform);

% Display image
figure(1), imshow(outputImage);



%*** Rotation Matrix Functions ***%

%% Matrix for Yaw-rotation about the Z-axis
function [R] = R_z(psi)
    R = [cosd(psi) -sind(psi) 0;
         sind(psi)  cosd(psi) 0;
         0          0         1];
end

%% Matrix for Pitch-rotation about the Y-axis
function [R] = R_y(theta)
    R = [cosd(theta)    0   sind(theta);
         0              1   0          ;
         -sind(theta)   0   cosd(theta)     ];
end

%% Matrix for Roll-rotation about the X-axis
function [R] = R_x(phi)
    R = [1  0           0;
         0  cosd(phi)   -sind(phi);
         0  sind(phi)   cosd(phi)];
end

Спасибо за поддержку, надеюсь, кому-то это поможет!

Я думаю, вы можете получить преобразование следующим образом:

1) Пусть у вас есть четыре 3d-точки A(-1,-1,0), B(1,-1,0), C(1,1,0) и D(-1,1,0). Вы можете взять любые 4 неколлинеарные точки. Они не связаны с изображением.

2) У вас есть матрица преобразования, поэтому вы можете настроить камеру, умножив координаты точек на матрицу преобразования. И вы получите 3D-координаты относительно положения/направления камеры.

3) Вам нужно получить проекцию ваших точек на плоскость экрана. Самый простой способ - использовать ортографическую проекцию (просто игнорируя координату глубины). На этом этапе у вас есть 2D-проекции преобразованных точек.

4) Когда у вас есть 2 набора координат 2D точек (набор из шага 1 без 3-й координаты и набор из шага 3), вы можете вычислить матрицу гомографии стандартным способом.

5) Примените обратное гомографическое преобразование к вашему изображению.

Вам нужно оценить гомографию. Готовое решение Matlab см. в функции vgg_H_from_x_lin.m на сайте http://www.robots.ox.ac.uk/~vgg/hzbook/code/ .

Для теории покопайтесь в учебнике Computer Vision, таком как тот, который доступен бесплатно по адресу http://szeliski.org/Book/ или в главе 3 http://programmingcomputervision.com/downloads/ProgrammingComputerVision_CCdraft.pdf

Возможно, мой ответ неверен из-за неправильного понимания параметров камеры, но мне было интересно, связаны ли рысканье/тангаж/крен с положением вашего объекта. Я использовал формулу общего вращения, и мой код приведен ниже (функции вращения R_x , R_y и R_z скопированы из ваших, я их сюда не вставляла)

close all
file='http://i.stack.imgur.com/m5e01.jpg'; % original image
I=imread(file);

R_rot = R_x(-10)*R_y(-30)*R_z(166);
R_rot = inv(R_rot);

R_2d  = [   R_rot(1,1)  R_rot(1,2) 0; 
            R_rot(2,1)  R_rot(2,2) 0;
            0           0          1    ]; 


T = maketform('affine',R_2d);

transformedI = imtransform(I,T);
        figure, imshow(I), figure, imshow(transformedI)

Результат:

Это указывает на то, что вам все еще нужна некоторая операция вращения, чтобы получить «правильное» выравнивание в уме (но, вероятно, не обязательно правильное положение в уме камеры). Поэтому я меняю R_rot = inv(R_rot); на R_rot = inv(R_rot)*R_x(-5)*R_y(25)*R_z(180);, и теперь это дало мне:

Выглядит лучше, как то, что вы хотите. Спасибо.