Я запускаю потоковое приложение ksqlDB, которое состоит из большого количества запросов (›60 запросов), включая множество объединений и агрегатов. Мои данные поступают из различных источников и требуют множества манипуляций для получения желаемых обработанных данных, отсюда и большое количество запросов. Я выполнил этот набор запросов на одном компьютере в интерактивном режиме, и он дал правильные результаты. Но я наблюдаю увеличивающееся отставание потребителей, когда увеличиваю объем данных, вводимых в приложение.
Я прочитал на странице Планирование емкости ksqlDB, что можно масштабировать, добавляя больше серверов, что я и планирую сделать.
В разделе Важные факторы выбора размера также сказано, что следует избегать выполнения большого количества запросов в одном кластере ksqlDB. Вместо этого используйте интерактивный режим, чтобы поиграть со своими данными и разработать наборы запросов, которые работают вместе. Затем запустите их в их собственном кластере без заголовка. Однако я не знаю, как это сделать - все мои запросы зависят друг от друга.
Есть ли у кого-нибудь общие рекомендации по развертыванию большого количества взаимозависимых запросов ksql? В качестве дополнительного требования данные обновляются каждый день и не зависят от каждого нового дня, поэтому мне нужно выполнять какое-то обновление запросов каждый день.
