Очень медленная агрегация терминов elasticsearch. Как улучшить?

еще раз спасибо за усилия.

Наконец-то мы решили основную проблему, и наша производительность вернулась в норму.

Короче говоря, мы сделали следующее: - обновили отображение для default_group_field, чтобы оно имело тип Long - сжали значения default_group_field, чтобы они соответствовали типу Long

Некоторые пояснения:

Агрегации строковых полей требуют выполнения над ними некоторой работы. Как видно из логов, построить Global Ordinals для этого поля с очень большой дисперсией было очень дорого. Фактически мы делаем только агрегации по упомянутому полю. При этом не очень эффективно использовать тип String.

Итак, мы изменили сопоставление на:

default_group_field: {
  type: 'long',
  index: 'not_analyzed'
}

Таким образом, мы не затрагиваем эти дорогостоящие операции.

После этого и того же тайминг запроса сократился до ~100 мс. Это также снизило загрузку процессора.

PS 1

У меня много информации из документов на глобальные порядковые номера

PS 2

Тем не менее я понятия не имею, как обойти эту проблему с полем типа String. Пожалуйста, прокомментируйте, если у вас есть идеи.

Вероятно, это связано с поведением агрегатов терминов по умолчанию, которое требует создания глобальных порядковых номеров. Это вычисление может быть дорогостоящим для полей с высокой кардинальностью.

В следующем блоге рассматривается вероятная причина низкой производительности и несколько подходов к ее устранению.

https://www.elastic.co/blog/improving-the-performance-of-high-cardinality-terms-aggregations-in-elasticsearch

В порядке. Я попытаюсь ответить на этот вопрос. В вопросе есть несколько частей, которые я не смог понять, например -

Чтобы избежать субагрегации, мы объединили значения целевых полей в одно поле с именем default_group_field, объединив их с помощью точки (.)

Я не уверен, что вы на самом деле имеете в виду, потому что вы сказали, что

Вы добавили это поле, чтобы избежать агрегации (но как? а также как вы избегаете агрегации, если вы joining them with dot(.)?)

В порядке. Даже я новичок в эластичном поиске. Так что, если я что-то пропустил, вы можете прокомментировать этот ответ. Спасибо,

Я продолжу отвечать на этот вопрос.

Но перед этим я предполагаю, что у вас есть поле (default_group_field) для различения записей duration, start_date, adults, kids.

Я постараюсь привести один пример ниже после моего решения.

Мое решение:

{
  "size": 0,
  "aggs": {
    "offers": {
      "terms": {
        "field": "default_group_field"
      },
      "aggs": {
        "sort_cost_asc": {
          "top_hits": {
            "sort": [
              {
                "cost": {
                  "order": "asc"
                }
              }
            ],
            "_source": {
              "include": [ ... fields you want from the document ... ]
            },
            "size": 1
          }
        }
      }
    }
  },
  "query": {
"... your query part ..."
   }
}

Я попытаюсь объяснить, что я пытаюсь сделать здесь:

Я предполагаю, что ваш документ выглядит так (может быть, есть и вложенность, но, например, я пытаюсь сделать документ максимально простым):

документ1:

{
"default_group_field": "kids",
"cost": 100,
"documentId":1
}

документ2:

{
"default_group_field": "kids",
"cost": 120,
"documentId":2
}

документ3:

{
"default_group_field": "adults",
"cost": 50,
"documentId":3
}

документ4:

{
"default_group_field": "adults",
"cost": 150,
"documentId":4
}

Итак, теперь у вас есть эти документы, и вы хотите получить мин. документ затрат для adults и kids:

поэтому ваш запрос должен выглядеть так:

    {
      "size": 0,
      "aggs": {
        "offers": {
          "terms": {
            "field": "default_group_field"
          },
          "aggs": {
            "sort_cost_asc": {
              "top_hits": {
                "sort": [
                  {
                    "cost": {
                      "order": "asc"
                    }
                  }
                ],
                "_source": {
                  "include": ["documentId", "cost", "default_group_field"]
                },
                "size": 1
              }
            }
          }
        }
      },
      "query": {
         "filtered":{ "query": { "match_all": {} } }   
       }
    }

Чтобы объяснить приведенный выше запрос, я группирую документ по "default_group_field", а затем мне sorting each group by cost, а size:1 помогает мне получить только один документ.

Поэтому результат для этого запроса будет мин. документ затрат в каждой категории (adults и kids)

Обычно, когда я пытаюсь написать запрос для эластичного поиска или db. Я стараюсь минимизировать количество документов или строк.

Я предполагаю, что я прав в понимании вашего вопроса. Если я неправильно понял ваш вопрос или сделал какую-то ошибку, пожалуйста, ответьте и дайте мне знать, где я ошибся.

Спасибо,