реестр конфлюентной схемы, разделяющий внутреннее хранилище Тема Kafka

В основе реестра конфлюентных схем хранятся все схемы в разделе _schema в Kafka. Можно ли разделить эту тему внутреннего хранилища на несколько частей, таких как _schema1 и _schema2?

Почему, потому что в моем производственном варианте использования я хочу хранить более 1000 схем, поэтому разделение внутреннего хранилища снижает нагрузку на тему.

И, поддерживает ли реестр конфлюентных схем серверное хранилище, отличное от темы Kafka?


person sujin    schedule 22.03.2021    source источник


Ответы (1)


Разделить невозможно, нет; на работе у нас гораздо больше 1000 схем, и реестр работает нормально.

Загрузка темы - это не проблема, с которой вы столкнетесь, это использование кучи сервера реестра, поскольку схемы хранятся в нескольких хэш-картах.

Внутреннее хранилище для Confluent Registry нельзя переопределить с помощью config; вам нужно будет разветвить код, поменять местами интерфейс KafkaStore, затем перекомпилировать (не делал этого, но достаточно просмотрел исходный код, чтобы понять общую концепцию).

person OneCricketeer    schedule 23.03.2021