Какой предлагаемый метод тома использовать для zookeeper и брокера для Apache Kafka, работающего в среде kubernetes?
Я запускаю кластер из 3 узлов и пытаюсь использовать persistent volume, но есть ли рекомендуемый метод Volume для Apache Kafka?
Какой предлагаемый метод тома использовать для zookeeper и брокера для Apache Kafka, работающего в среде kubernetes?
Я запускаю кластер из 3 узлов и пытаюсь использовать persistent volume, но есть ли рекомендуемый метод Volume для Apache Kafka?
Вы можете использовать хелм-чарты для установки Apache Kafka в Kubernetes (рекомендуемый способ Confluent). Диаграммы можно найти здесь. Кроме того, в этих диаграммах есть некоторые размеры сохраняемости по умолчанию для Kafka. Также Confluent рекомендует использовать Shared Storage, а не Local Storage. Вы можете найти более подробную информацию здесь и здесь.
Рекомендуемое хранилище: 4 ГБ для Zookeeper, а для Kafka у вас есть: r4.xlarge
на AWS, n1-highmem-4
на GCP, DS5v2
на Azure и 12 ядер, 128 ГБ ОЗУ, 12 дисков на локальном сервере. Вы можете найти больше здесь.