У нас был запущен кластер DSE SOLR с 3 узлами, и недавно мы добавили новое ядро. Примерно через неделю нормальной работы все узлы SOLR теперь находятся в состоянии OOMing. Заполните как кучу JVM (установленную на 8 ГБ), так и системную память. Затем также постоянно сбрасывают memtables на диск.
Кластер DSE 3.2.5 с RF=3
вот solrconfig из нового ядра:
Насколько велик ваш индекс Solr по отношению к объему системной памяти, доступной ОС для кэширования страниц файловой системы. По сути, ваш индекс Solr должен помещаться в кэш файловой системы ОС (объем системной памяти, доступный после запуска DSE, но еще не обработавший значительный объем данных).
Кроме того, сколько документов Solr (строк Cassandra) и сколько полей (столбцов Cassandra) заполняется на каждом узле? Жесткого ограничения нет, но от 40 до 100 миллионов — хороший ориентир в качестве верхнего предела — на узел.
И сколько системной памяти и сколько кучи JVM доступно, если вы перезапустите DSE, но до того, как начнете нагружать сервер?
Для RF=N, где N — общее количество узлов в кластере или, по крайней мере, в центре обработки данных поиска, все данные будут храниться на всех узлах, что допустимо для небольших наборов данных, но не подходит для больших наборов данных.
Для RF=n это означает, что каждый узел будет иметь X/N*n строк или документов, где X — общее количество строк или документов для всех семейств столбцов в центре обработки данных. X/N*n — это число, которое вы должны стараться держать ниже 100 миллионов. Это не жесткое ограничение — некоторые наборы данных и аппаратное обеспечение могут обрабатывать значительно больше, а некоторые наборы данных и аппаратное обеспечение могут даже не вместить столько. Вам придется найти число, которое лучше всего подходит для вашего собственного приложения, но диапазон от 40 до 100 миллионов — это хорошее начало.
Короче говоря, самая безопасная оценка заключается в том, чтобы X/N*n не превышало 40 миллионов для узлов Solr. 100 может подойти для некоторых наборов данных и более мощного оборудования.
Что касается настройки, одним из распространенных источников использования большого количества кучи является интенсивное использование фасетов Solr и запросов с фильтрами.
Один из методов заключается в использовании полей «DocValues» для фасетов, поскольку DocValues могут храниться вне кучи.
Запросы фильтра можно пометить как cache=false для экономии памяти кучи.
Кроме того, различные кэши Solr могут быть уменьшены в размере или даже обнулены. Это в solrconfig.xml.
