Снижение производительности репликации Kafka 0.10

Я пытаюсь сравнить Kafka Cluster. Я новичок. Я строю 3 узла-кластера. Каждый узел имеет один раздел. Я не менял настройки брокера по умолчанию. Я просто скопировал код производителя и потребителя прямо с официального сайта.

Когда я создал тему с репликацией 1 и разделом 3, я смог получить 170 МБ в секунду. пропускная способность. Когда я создаю тему с репликацией 3 и разделом 3, я едва вижу пропускную способность 30 МБ в секунду.

Затем я применил рабочую конфигурацию по этой ссылке https://kafka.apache.org/documentation#prodconfig. . Результат стал хуже.

Можете ли вы поделиться со мной своим опытом?

disk type   replication insert count    one message length  elapsed time    req per sec concurreny  throughput MB
hdd 1   10,000,000  250 25  400,000 1   95.36743164
hdd 1   10,000,000  250 28  357,000 2   170.2308655
hdd 1   10,000,000  250 55  175,000 4   166.8930054
hdd 1   1,000,000   250 22  45,400  8   86.59362793
hdd 1   10,000,000  250 22  85,000  8   162.1246338


hdd 3   1,000,000   250 10  100,000 1   23.84185791
hdd 3   1,000,000   250 19  55,000  2   26.2260437
hdd 3   1,000,000   250 30  32,000  4   30.51757813
hdd 3   1,000,000   250 45  20,000  8   38.14697266
hdd 3   10,000,000  250 559 18,000  8   34.33227539


person Yılmaz    schedule 21.10.2016    source источник


Ответы (1)


Следует ожидать снижения производительности при увеличении репликации. У вашего начального запуска была такая высокая пропускная способность, потому что Kafka не нужно было копировать данные сообщения в несколько разных разделов. Когда вы увеличиваете коэффициент репликации, вы в основном обмениваете скорость на долговечность.

person William Hammond    schedule 23.10.2016
comment
Я знаю все эти понятия. Я ожидал не менее 70 МБ/сек. - person Yılmaz; 24.10.2016
comment
Какое оборудование вы используете? - person William Hammond; 24.10.2016
comment
Проверьте производительность после увеличения количества разделов, могу поспорить, что пропускная способность возрастет. Я пропустил, что раньше у вас было только 1. - person William Hammond; 25.10.2016