Что произойдет, если logstash отправляет данные в elasticsearch со скоростью, превышающей скорость индексации?

Итак, у меня есть несколько хостов с установленным logstash на каждом хосте. Logstash на всех этих хостах считывает файлы журналов, сгенерированные хостом, и отправляет данные в мой единственный кластер aws elasticsearch.

Теперь рассмотрим сценарий, в котором большое количество журналов создается на каждом хосте одновременно. Поскольку logstash установлен на каждом хосте и просто пересылает данные в кластер es, я предполагаю, что даже если мой кластер elasticsearch не сможет его проиндексировать, это не повлияет на мои хосты. Являются ли журналы просто потерей в таком сценарии?

Могут ли мои хост-компьютеры каким-либо образом быть затронуты?


person Karup    schedule 27.06.2016    source источник


Ответы (1)


Короче говоря, вы можете потерять некоторые журналы на хост-компьютерах, и поэтому используются решения для обмена сообщениями, такие как kafka https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling..html#deploying-message-queueing

person xeye    schedule 27.06.2016
comment
Но это точно не замедлит мои хост-машины? - person Karup; 27.06.2016