Подключение VPC к порту кластера VPC Elasticsearch 9200 не отвечает

Я пытаюсь настроить централизованное решение для ведения журналов, которое использует filebeat на EC2 для отправки журналов непосредственно в кластер VPC AWS Elasticsearch (простая конфигурация, без logstash). Мне не требуется доступ к Интернету для Elasticsearch.

Мой VPC 172.31.0.0/16 Моя политика контроля доступа широко открыта (только для VPC) Мои группы безопасности разрешают TCP 443 и 9200

На экземпляре EC2 я могу получить ответ от конечной точки https

curl https://vpc-<my-es-cluster>.<region>.es.amazonaws.com
{
  "name" : "<name>",
  "cluster_name" : "<account-id>:<my-es-cluster>",
  "cluster_uuid" : "<uuid>",
  "version" : {
    "number" : "6.2.2",
    "build_hash" : "10b1edd",
    "build_date" : "2018-02-28T15:42:08.616107Z",
    "build_snapshot" : false,
    "lucene_version" : "7.2.1",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

Из моего экземпляра EC2 9200 недоступен, что похоже на проблему группы безопасности, однако sg, прикрепленный к моему домену, разрешает 443 и 9200 из 172.31.0.0/16. Я также попытался открыть прикрепленный sg для всего трафика, и это не решило мою проблему.

Я провел небольшое исследование и обнаружил, что эта проблема может быть связана с тем, что конфигурация network.host в кластере ES не настроена для привязки к 0.0.0.0 (или частному IP-адресу): Ошибка в соединении отказано в эластичном поиске

Кто-нибудь еще сталкивался с этой проблемой? Это базовый вариант использования: EC2 в VPC не имеет сетевого доступа к внутреннему кластеру ES VPC через 9200, несмотря на открытую группу безопасности.


person Dan Stark    schedule 03.05.2018    source источник


Ответы (1)


Я думаю, вам следует использовать порт 80, а не 9200.

person jbuiss0n    schedule 03.05.2018
comment
Спасибо, у меня это сработало. Filebeat по умолчанию использовал 9200, поэтому мне пришлось указать http://<url>:80 в качестве моего output.elasticsearch hosts в /etc/filebeat/filebeat.yml - person Dan Stark; 04.05.2018