Зачем проецировать 3d в 2d из плоскости изображения, когда точка лежит на изображении

Я пытаюсь получить 2D-координату на плоскости изображения с учетом 3D-координаты мира в Unreal Engine 4.

Мировая система координат: x(увеличение справа налево), y(увеличение снаружи внутрь экрана), z(увеличение снизу к началу)

Система координат изображения, которую я хочу, это исходная точка в левом нижнем углу и x (увеличение слева направо), y (увеличение снизу вверх)

Я настроил внутреннюю и внешнюю камеру, как показано ниже, пока камера находится на

(-474.9739990234375, -67.140998840332031, 128.10400390625)

и его вращение

(0, 0.80071002244949341, 99.797645568847656)

связанные с началом мировой координаты.

import numpy as np

fov = 69.4
width = 1920.0
height = 1080.0
aspect_ratio = width / height
fx = width / (2 * np.tan(fov * np.pi / 2 / 180))
fy = height / (2 * np.tan(fov / aspect_ratio / 2 / 180 * np.pi))
intrinsic = [[-fx, 0, width / 2], [0, fy, height / 2], [0 , 0, 1]]

pitch = 0.80071002244949341 * np.pi / 180
yaw = 99.797645568847656 * np.pi / 180
roll = 0 * np.pi / 180

ry = [[np.cos(pitch), 0, np.sin(pitch)], [0, 1, 0], [-np.sin(pitch), 0, np.cos(pitch)]]
rx = [[1, 0, 0], [0, np.cos(roll), -np.sin(roll)], [0, np.sin(roll), np.cos(roll)]]
rz = [[np.cos(yaw), -np.sin(yaw), 0], [np.sin(yaw), np.cos(yaw), 0], [0, 0, 1]]
rotation_matrix = np.matmul(np.matmul(rx, ry), rz)

translation_matrix = np.array([[-474.9739990234375, -67.140998840332031, 128.10400390625]])

extrinsic = np.concatenate([rotation_matrix, translation_matrix.T], axis=1)
extrinsic = np.concatenate([extrinsic, np.array([[0, 0, 0, 1]])], axis=0)
extrinsic = np.linalg.inv(extrinsic)
extrinsic = extrinsic[:3]
print(extrinsic)

Допустим, у меня есть объект в сцене, который также находится в поле зрения камеры. Его координата

[-582.88897705078125, 143.63600158691406, 88.338996887207031]

Используя приведенный ниже код, я должен получить проекцию трехмерной точки на плоскость изображения.

world_coordinate = np.array([[-582.88897705078125, 143.63600158691406, 88.338996887207031, 1]])
camera_coordinate = np.dot(extrinsic, world_coordinate.T)
print(camera_coordinate)
camera_coordinate[0] *= 1
tmp = camera_coordinate[1].copy()
camera_coordinate[1] = camera_coordinate[2]
camera_coordinate[2] = tmp
print(camera_coordinate)
image_coordinate = np.dot(intrinsic, camera_coordinate)
image_coordinate /= image_coordinate[2]
print(image_coordinate)

Но я получил

[[-3.52097326e+03]
 [-3.59180874e+02]
 [ 1.00000000e+00]]

Который не лежит на плоскости изображения. Как мне это решить?


person eris231    schedule 05.06.2019    source источник


Ответы (1)


Оказывается, это была ошибка. Фактическая мировая система координат: x(увеличение от внешнего к внутреннему экрану), y(увеличение слева направо), z(увеличение от снизу вверх).

Просто сопоставьте проект плоскости yz с пространством изображения, и все будет готово.

person eris231    schedule 11.06.2019