raycasting: как правильно применить проекционную матрицу?

В настоящее время я работаю над некоторым рейкастированием в GLSL, которое отлично работает. В любом случае, я хочу перейти от ортогональной проекции к перспективной проекции сейчас, но я не уверен, как это правильно сделать. Есть ли хорошие ссылки о том, как использовать проекционную матрицу с raycasting? Я даже не уверен, к чему я должен применить матрицу (возможно, как-то к направлению луча?). Сейчас я делаю это так (псевдокод):

vec3 rayDir = (0.0, 0.0, -1.0); //down the negative -z axis in parallel;

но теперь я хотел бы использовать projMatrix, который работает аналогично функции gluPerspective, чтобы я мог просто определить соотношение сторон, угол обзора и ближнюю и дальнюю плоскости. В общем, может ли кто-нибудь предоставить мне кусок кода для настройки матрицы проекта, аналогичной gluProjection? А во вторых подскажите правильно ли умножать на rayDirection?


person user240137    schedule 01.03.2010    source источник


Ответы (5)


Чтобы направлять лучи в сцену, вы должны начать с помещения себя (мысленно) в мир после применения проекционной матрицы. Это означает, что область видимости теперь представляет собой прямоугольник 2x2x1 — это известно как канонический объем вида. (Противоположные углы прямоугольника равны (-1, -1, 0) и (1, 1, -1).) Генерируемые вами лучи (в постпроекционном трансформированном мире) будут начинаться в начале координат и достигать задней части. плоскость отсечения (расположена в точке z=-1). «Пункт назначения» вашего первого луча должен быть (-1, 1, -1) — верхний левый угол дальней плоскости отсечения. (Последующие лучи «назначения» рассчитываются на основе разрешения вашего окна просмотра.)

Теперь, когда у вас есть этот луч в каноническом виде, вам нужно перевести его в стандартные мировые координаты. Как ты это делаешь? Просто - просто умножьте на обратную матрицу проекции, часто называемую преобразованием просмотра. Это поместит ваши лучи в ту же систему координат, что и объекты в вашей сцене, что сделает тестирование столкновений лучей приятным и простым.

person vorporeal    schedule 04.03.2010

Для трассировки лучей в той же сцене, что и при стандартном рендеринге, я обнаружил, что для получения луча в пространстве сцены из экранных координат работает следующее: (например, рендеринг полноэкранного четырехугольника от [-1,-1] до [1,1 ], или какая-то подобласть в пределах этого диапазона)

Вершинный шейдер

uniform mat4 invprojview;
uniform float near;
uniform float far;

attribute vec2 pos; // from [-1,-1] to [1,1]

varying lowp vec3 origin;
varying lowp vec3 ray;

void main() {
    gl_Position = vec4(pos, 0.0, 1.0);
    origin = (invprojview * vec4(pos, -1.0, 1.0) * near).xyz;
    ray = (invprojview * vec4(pos * (far - near), far + near, far - near)).xyz;

    // equivalent calculation:
    // ray = (invprojview * (vec4(pos, 1.0, 1.0) * far - vec4(pos, -1.0, 1.0) * near)).xyz
}

Фрагментный шейдер

varying lowp vec3 origin;
varying lowp vec3 ray;

void main() {
    lowp vec3 rayDir = normalize(ray);
    // Do raytracing from origin in direction rayDir
}

Обратите внимание, что вам необходимо предоставить инвертированную матрицу проекции-вида, а также ближнее и дальнее расстояние отсечения. Я уверен, что есть способ получить эти расстояния отсечения из матрицы, но я не понял, как это сделать.

Это определит луч, который начинается в ближней плоскости, а не в положении камеры. Это дает преимущество отсечения в той же позиции, в которой OpenGL обрезает треугольники, благодаря чему ваш объект с трассировкой лучей соответствует сцене. Поскольку переменная ray будет правильной длиной для достижения дальней плоскости, вы также можете обрезать и там.

Что касается получения перспективной матрицы в первую очередь (и понимания математики, стоящей за ней), я всегда использую эту справочную страницу:

http://www.songho.ca/opengl/gl_projectionmatrix.html

Я рекомендую просмотреть вывод на этом сайте, но на случай, если он станет недоступен, вот окончательное определение матрицы проекции:

2n/(r-l)      0      (r+l)/(r-l)      0
    0     2n/(t-b)   (t+b)/(t-b)      0
    0         0     -(f+n)/(f-n)  -2fn/(f-n)
    0         0          -1           0
person Dave    schedule 11.10.2018
comment
Похоже на лучшее решение, могу ли я использовать его для webGl (GLSL)? stackoverflow.com/questions/68477083/ - person Nikola Lukic; 23.07.2021

В Perspective Projection матрица проекции описывает отображение трехмерных точек мира, видимых с камеры-обскуры, в двухмерные точки окна просмотра.
Координаты пространства глаза в усеченной пирамиде камеры (усеченная пирамида) сопоставляются с кубом (нормализованные координаты устройства).

введите здесь описание изображения

Матрица перспективной проекции выглядит следующим образом:

r = right, l = left, b = bottom, t = top, n = near, f = far

2*n/(r-l)      0              0               0
0              2*n/(t-b)      0               0
(r+l)/(r-l)    (t+b)/(t-b)    -(f+n)/(f-n)   -1    
0              0              -2*f*n/(f-n)    0

где:

r = w / h
t = tan( fov_y / 2 );

2 * n / (r-l) = 1 / (t * a)
2 * n / (t-b) = 1 / t

Если проекция симметрична, где линия обзора находится в центре окна просмотра и поле зрения не смещено, то матрицу можно упростить:

1/(t*a)  0    0               0
0        1/t  0               0
0        0    -(f+n)/(f-n)   -1    
0        0    -2*f*n/(f-n)    0


Следующая функция будет вычислять ту же матрицу проекции, что и gluPerspective:

#include <array>

const float cPI = 3.14159265f;
float ToRad( float deg ) { return deg * cPI / 180.0f; }

using TVec4  = std::array< float, 4 >;
using TMat44 = std::array< TVec4, 4 >;

TMat44 Perspective( float fov_y, float aspect )
{
    float fn = far + near
    float f_n = far - near;
    float r = aspect;
    float t = 1.0f / tan( ToRad( fov_y ) / 2.0f );

    return TMat44{ 
        TVec4{ t / r, 0.0f,  0.0f,                 0.0f },
        TVec4{ 0.0f,  t,     0.0f,                 0.0f },
        TVec4{ 0.0f,  0.0f, -fn / f_n,            -1.0f },
        TVec4{ 0.0f,  0.0f, -2.0f*far*near / f_n,  0.0f }
    };
}


См. далее:


Пример WebGL:

<script type="text/javascript">

camera_vert =
"precision mediump float; \n" +
"attribute vec3 inPos; \n" +
"attribute vec3 inCol; \n" +
"varying   vec3 vertCol;" +
"uniform   mat4 u_projectionMat44;" +
"uniform   mat4 u_viewMat44;" +
"uniform   mat4 u_modelMat44;" +
"void main()" +
"{" +
"    vertCol       = inCol;" +
"    vec4 modolPos = u_modelMat44 * vec4( inPos, 1.0 );" +
"    vec4 viewPos  = u_viewMat44 * modolPos;" +
"    gl_Position   = u_projectionMat44 * viewPos;" +
"}";

camera_frag =
"precision mediump float; \n" +
"varying vec3 vertCol;" +
"void main()" +
"{" +
"    gl_FragColor = vec4( vertCol, 1.0 );" +
"}";

glArrayType = typeof Float32Array !="undefined" ? Float32Array : ( typeof WebGLFloatArray != "undefined" ? WebGLFloatArray : Array );

function IdentityMat44() {
  var a=new glArrayType(16);
  a[0]=1;a[1]=0;a[2]=0;a[3]=0;a[4]=0;a[5]=1;a[6]=0;a[7]=0;a[8]=0;a[9]=0;a[10]=1;a[11]=0;a[12]=0;a[13]=0;a[14]=0;a[15]=1;
  return a;
};

function Cross( a, b ) { return [ a[1] * b[2] - a[2] * b[1], a[2] * b[0] - a[0] * b[2], a[0] * b[1] - a[1] * b[0], 0.0 ]; }
function Dot( a, b ) { return a[0]*b[0] + a[1]*b[1] + a[2]*b[2]; }
function Normalize( v ) {
    var len = Math.sqrt( v[0] * v[0] + v[1] * v[1] + v[2] * v[2] );
    return [ v[0] / len, v[1] / len, v[2] / len ];
}

var Camera = {};
Camera.create = function() {
    this.pos    = [0, 8, 0.5];
    this.target = [0, 0, 0];
    this.up     = [0, 0, 1];
    this.fov_y  = 90;
    this.vp     = [800, 600];
    this.near   = 0.5;
    this.far    = 100.0;
}
Camera.Perspective = function() {
    var fn = this.far + this.near;
    var f_n = this.far - this.near;
    var r = this.vp[0] / this.vp[1];
    var t = 1 / Math.tan( Math.PI * this.fov_y / 360 );
    var m = IdentityMat44();
    m[0]  = t/r; m[1]  = 0; m[2]  =  0;                              m[3]  = 0;
    m[4]  = 0;   m[5]  = t; m[6]  =  0;                              m[7]  = 0;
    m[8]  = 0;   m[9]  = 0; m[10] = -fn / f_n;                       m[11] = -1;
    m[12] = 0;   m[13] = 0; m[14] = -2 * this.far * this.near / f_n; m[15] =  0;
    return m;
}
function ToVP( v ) { return [ v[1], v[2], -v[0] ] }
Camera.LookAt = function() {
    var p = ToVP( this.pos ); t = ToVP( this.target ); u = ToVP( this.up );
    var mx = Normalize( [ t[0]-p[0], t[1]-p[1], t[2]-p[2] ] );
    var my = Normalize( Cross( u, mx ) );
    var mz = Normalize( Cross( mx, my ) );
    var eyeInv = [ -this.pos[0], -this.pos[1], -this.pos[2] ];
    var tx = Dot( eyeInv, [mx[0], my[0], mz[0]] );
    var ty = Dot( eyeInv, [mx[1], my[1], mz[1]] );
    var tz = Dot( eyeInv, [mx[2], my[2], mz[2]] ); 
    var m = IdentityMat44();
    m[0]  = mx[0]; m[1]  = mx[1]; m[2]  = mx[2]; m[3]  = 0;
    m[4]  = my[0]; m[5]  = my[1]; m[6]  = my[2]; m[7]  = 0;
    m[8]  = mz[0]; m[9]  = mz[1]; m[10] = mz[2]; m[11] = 0;
    m[12] = tx;    m[13] = ty;    m[14] = tz;    m[15] = 1; 
    return m;
}

// shader program object
var ShaderProgram = {};
ShaderProgram.Create = function( shaderList, uniformNames ) {
    var shaderObjs = [];
    for ( var i_sh = 0; i_sh < shaderList.length; ++ i_sh ) {
        var shderObj = this.CompileShader( shaderList[i_sh].source, shaderList[i_sh].stage );
        if ( shderObj == 0 )
          return 0;
        shaderObjs.push( shderObj );
    }
    if ( !this.LinkProgram( shaderObjs ) )
      return 0;
    this.unifomLocation = {};
    for ( var i_n = 0; i_n < uniformNames.length; ++ i_n ) {
        var name = uniformNames[i_n];
        this.unifomLocation[name] = gl.getUniformLocation( this.prog, name );
    }
    return this.prog;
}
ShaderProgram.Use = function() { gl.useProgram( this.prog ); } 
ShaderProgram.SetUniformMat44 = function( name, mat ) { gl.uniformMatrix4fv( this.unifomLocation[name], false, mat ); }
ShaderProgram.CompileShader = function( source, shaderStage ) {
    var shaderObj = gl.createShader( shaderStage );
    gl.shaderSource( shaderObj, source );
    gl.compileShader( shaderObj );
    return gl.getShaderParameter( shaderObj, gl.COMPILE_STATUS ) ? shaderObj : 0;
} 
ShaderProgram.LinkProgram = function( shaderObjs ) {
    this.prog = gl.createProgram();
    for ( var i_sh = 0; i_sh < shaderObjs.length; ++ i_sh )
        gl.attachShader( this.prog, shaderObjs[i_sh] );
    gl.linkProgram( this.prog );
    return gl.getProgramParameter( this.prog, gl.LINK_STATUS ) ? true : false;
}
        

function drawScene(){

    var canvas = document.getElementById( "camera-canvas" );
    Camera.create();
    Camera.vp = [canvas.width, canvas.height];
    var currentTime = Date.now();   
    var deltaMS = currentTime - startTime;
    Camera.pos = EllipticalPosition( 7, 4, CalcAng( currentTime, 10.0 ) );
        
    gl.viewport( 0, 0, canvas.width, canvas.height );
    gl.enable( gl.DEPTH_TEST );
    gl.clearColor( 0.0, 0.0, 0.0, 1.0 );
    gl.clear( gl.COLOR_BUFFER_BIT | gl.DEPTH_BUFFER_BIT );
    ShaderProgram.Use();
    ShaderProgram.SetUniformMat44( "u_projectionMat44", Camera.Perspective() );
    ShaderProgram.SetUniformMat44( "u_viewMat44", Camera.LookAt() );
        
    ShaderProgram.SetUniformMat44( "u_modelMat44", IdentityMat44() );
    gl.enableVertexAttribArray( prog.inPos );
    gl.bindBuffer( gl.ARRAY_BUFFER, buf.pos );
    gl.vertexAttribPointer( prog.inPos, 3, gl.FLOAT, false, 0, 0 ); 
    gl.enableVertexAttribArray( prog.inCol );
    gl.bindBuffer( gl.ARRAY_BUFFER, buf.col );
    gl.vertexAttribPointer( prog.inCol, 3, gl.FLOAT, false, 0, 0 ); 
    gl.bindBuffer( gl.ELEMENT_ARRAY_BUFFER, buf.inx );
    gl.drawElements( gl.TRIANGLES, 12, gl.UNSIGNED_SHORT, 0 );
    gl.disableVertexAttribArray( buf.pos );
    gl.disableVertexAttribArray( buf.col );
}

var startTime;
function Fract( val ) { 
    return val - Math.trunc( val );
}
function CalcAng( currentTime, intervall ) {
    return Fract( (currentTime - startTime) / (1000*intervall) ) * 2.0 * Math.PI;
}
function CalcMove( currentTime, intervall, range ) {
    var pos = self.Fract( (currentTime - startTime) / (1000*intervall) ) * 2.0
    var pos = pos < 1.0 ? pos : (2.0-pos)
    return range[0] + (range[1] - range[0]) * pos;
}    
function EllipticalPosition( a, b, angRag ) {
    var a_b = a * a - b * b
    var ea = (a_b <= 0) ? 0 : Math.sqrt( a_b );
    var eb = (a_b >= 0) ? 0 : Math.sqrt( -a_b );
    return [ a * Math.sin( angRag ) - ea, b * Math.cos( angRag ) - eb, 0 ];
}

var gl;
var prog;
var buf = {};
function cameraStart() {

    var canvas = document.getElementById( "camera-canvas");
    gl = canvas.getContext( "experimental-webgl" );
    if ( !gl )
      return;

    prog = ShaderProgram.Create( 
      [ { source : camera_vert, stage : gl.VERTEX_SHADER },
        { source : camera_frag, stage : gl.FRAGMENT_SHADER }
      ],
      [ "u_projectionMat44", "u_viewMat44", "u_modelMat44"] );
    prog.inPos = gl.getAttribLocation( prog, "inPos" );
    prog.inCol = gl.getAttribLocation( prog, "inCol" );
    if ( prog == 0 )
        return;

    var sin120 = 0.8660254
    var pos = [ 0.0, 0.0, 1.0, 0.0, -sin120, -0.5, sin120 * sin120, 0.5 * sin120, -0.5, -sin120 * sin120, 0.5 * sin120, -0.5 ];
    var col = [ 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0 ];
    var inx = [ 0, 1, 2, 0, 2, 3, 0, 3, 1, 1, 3, 2 ];
    buf.pos = gl.createBuffer();
    gl.bindBuffer( gl.ARRAY_BUFFER, buf.pos );
    gl.bufferData( gl.ARRAY_BUFFER, new Float32Array( pos ), gl.STATIC_DRAW );
    buf.col = gl.createBuffer();
    gl.bindBuffer( gl.ARRAY_BUFFER, buf.col );
    gl.bufferData( gl.ARRAY_BUFFER, new Float32Array( col ), gl.STATIC_DRAW );
    buf.inx = gl.createBuffer();
    gl.bindBuffer( gl.ELEMENT_ARRAY_BUFFER, buf.inx );
    gl.bufferData( gl.ELEMENT_ARRAY_BUFFER, new Uint16Array( inx ), gl.STATIC_DRAW );

    startTime = Date.now();
    setInterval(drawScene, 50);
}

</script>

<body onload="cameraStart();">
    <canvas id="camera-canvas" style="border: none;" width="512" height="256"></canvas>
</body>

person Rabbid76    schedule 02.07.2017

не пытайтесь изменить свои лучи. Вместо этого сделайте следующее:

а) создайте матрицу, используя местоположение/поворот вашей камеры. б) инвертировать матрицу в) применить ее ко всем моделям в сцене г) визуализировать ее обычными методами.

На самом деле так же поступает и OpenGL. Вращение камеры вправо равносильно вращению мира влево.

person Timothy Baldridge    schedule 02.03.2010

Я отвечаю на это после прибытия сюда из поиска Google.

Существующие ответы, кажется, упускают из виду непонимание исходного вопроса.

Идея применения проекционной матрицы при рейкастинге бессмысленна

Мы создаем ортогональные рейкасты, начиная с плоскости обзора и отслеживая одно и то же направление для каждого пикселя. начало луча меняется на пиксель

Мы создаем перспективные рейкасты, начиная с позиции глаза, за плоскостью обзора и отслеживая уникальное направление для каждого пикселя. то есть начало луча фиксировано и одинаково для каждого пикселя.

Поймите, что сами проекционные матрицы и процесс, в котором они обычно участвуют, являются производными от raycasting. Матрица перспективы кодирует raycast того вида, который я описал.

Спроецировать точку на экран это провести луч из плоскости глаза/вида в точку и найти пересечение с плоскостью вида...

person jheriko    schedule 29.10.2013