Ошибка удаления фрустума

Следуя решению @derhass для правильной нормализации плоскостей для тестов пересечения, вы должны сделать следующее

Для пересечения плоскости ограничивающего прямоугольника после проецирования вашего прямоугольника на плоскость, которую мы называем p, и после вычисления средней точки прямоугольника, скажем m, и после вычисления расстояния этой средней точки от плоскости скажем d, чтобы проверить пересечение, мы делаем

  d<=p

Но для отсечения усеченной вершины мы просто не хотим, чтобы наш блок НЕ пересекался с нашей плоскостью усеченной вершины, но мы хотим, чтобы он находился на расстоянии -p от нашей плоскости, и только тогда мы точно знаем, что НИКАКАЯ ЧАСТЬ нашего бокса не пересекает нашу плоскость, которая является

    if(d<=-p)//then our box is fully not intersecting our plane so we don't draw it or cull it[d will be negative if the midpoint lies on the other side of our plane]

Аналогично для треугольников мы проверяем, отрицательны ли ВСЕ 3 точки треугольника от плоскости.

Чтобы спроецировать прямоугольник на плоскость, мы берем 3 оси [x, y, z UNIT VECTORS] прямоугольника, масштабируем их по прямоугольникам, соответствующим ПОЛОВИНУ ширины, высоты, глубины и находим сумму каждого из их скалярных произведений [взять только положительная величина каждого скалярного произведения БЕЗ ПОДПИСАННОГО РАССТОЯНИЯ] с нормальными плоскостями, которые будут вашим 'p'

Не используя вышеупомянутый подход для AABB, вы также можете отбраковывать OOBB с тем же подходом, потому что изменятся только оси.

РЕДАКТИРОВАТЬ: как спроецировать ограничивающую рамку на плоскость?

Давайте рассмотрим AABB для нашего примера. Он имеет следующие параметры

Lower extent Min(x,y,z)
Upper extent Max(x,y,z)
Up Vector      U=(0,1,0)
Left Vector.   L=(1,0,0)
Front Vector.  F=(0,0,1)

Шаг 1: рассчитайте половинные размеры

half_width=(Max.x-Min.x)/2;
half_height=(Max.y-Min.y)/2;
half_depth=(Max.z-Min.z)/2;

Шаг 2: спроецируйте каждую отдельную ось прямоугольника на нормаль плоскости, возьмите только положительную величину каждого скалярного произведения, масштабированного на каждое половинное измерение, и найдите общую сумму. убедитесь, что и ось коробки, и нормаль к плоскости являются единичными векторами.

float p=(abs(dot(L,N))*half_width)+
        (abs(dot(U,N))*half_height)+
        (abs(dot(F,N))*half_depth);

 abs() returns absolute magnitude we want it to be positive 
 because we are dealing with distances

Где N - единичный вектор нормали плоскости

Шаг 3: вычислите среднюю точку бокса

 M=(Min+Max)/2;

Шаг 4: вычислить расстояние от средней точки до плоскости

d=dot(M,N)+plane.w

Шаг 5: сделайте проверку

d<=-p //return true i.e don't render or do culling

Вы можете увидеть, как использовать его для OOBB, где векторы U, F, L - это оси OOBB, а центр (средняя точка) и половинные размеры - это параметры, которые вы передаете вручную.

Для сферы вы также должны рассчитать расстояние центра сфер от плоскости (называемой d), но сделайте проверку

  d<=-r //radius of the sphere

Поместите это в функцию с именем outside (Plane, Bounds), которая возвращает истину, если границы полностью выходят за пределы плоскости, а затем для каждой из 6 плоскостей

   bool is_inside_frustum()
  {
    for(Plane plane:frustum_planes)
   {
      if(outside(plane,AABB))
     { 
       return false
     }
    }
    return true;
  } 

Вы неправильно используете GLM. Согласно статье Грибба и Хартманна, вы можете извлечь уравнения плоскости как сумма или разность различных строк матрицы, но в glm mat4 foo; foo[n] даст n-й столбец (аналогично тому, как разработан GLSL).

Это здесь

for (int i = 0; i < 6; i++){
    p_planes[i] = glm::normalize(p_planes[i]);
}

также не имеет смысла, поскольку glm::normalize(vec4) просто нормализует 4-мерный вектор. Это приведет к смещению плоскости в нормальном направлении. Только компоненты xyz должны быть доведены до единичной длины, а w должны быть соответственно масштабированы. Это даже подробно объясняется в самой статье. Однако, поскольку вам нужно только знать, на каком полупространстве лежит точка, нормализация уравнения плоскости - пустая трата циклов, вас волнует только знак, а не величина значения в любом случае.