Вопросы по теме 'confluent-schema-registry'
Как отправить сообщение в Kafka с помощью сериализатора Avro и реестра схем
Я пытаюсь отправить объект в Kafka с помощью сериализатора Avro и реестра схем. Вот упрощенный код:
Properties props = new Properties();
...
props.put(KEY_SERIALIZER_CLASS_CONFIG,...
4165 просмотров
schedule
21.06.2022
Kafka Streams — Неизвестный магический байт на GenericAvroSerde
при попытке передать данные Avro с помощью Kafka Streams я столкнулся с этой ошибкой:
Exception in thread "StreamThread-1" org.apache.kafka.common.errors.SerializationException: Error deserializing Avro message for id -1
Caused by:...
3510 просмотров
schedule
01.08.2022
Сохранение реестра схемы после перезагрузки
Я только что закончил это руководство по использованию Kafka и Schema Registry: http://cloudurable.com/blog/kafka-avro-schema-registry/index.html Я также играл с Conlfuent Platform: https://docs.confluent.io/current/installation/installing_cp.html...
606 просмотров
schedule
25.02.2022
Как получить все необходимые схемы Avro с учетом набора тем из реестра конфлюентных схем
Мы используем Kafka, Avro и реестр схем Avro. Учитывая набор тем, которые я хочу обсудить, есть ли способ получить все идентификаторы схемы, необходимые для декодирования сообщений, которые я получаю?
Я проверил реализацию клиента Python для...
1784 просмотров
schedule
06.04.2024
Кафка тема с разным форматом данных
Я записал некоторые данные avro в тему «test-avro», используя Kafka-avro-console-продюсер. Затем я написал несколько текстовых данных в той же теме «test-avro», используя Kafka-console-продюсер. После этого все данные в теме испортились. Может ли...
626 просмотров
schedule
05.04.2022
Исключение при обработке десериализатора реестра схемы kafka
Я следую совпадающая ссылка для публикации сообщений kafka об изменениях в таблице mysql. Когда я пытаюсь использовать это сообщение из приложения Springboot, я получаю следующее исключение. Как я могу исправить это, чтобы я мог прочитать...
23 просмотров
schedule
15.12.2023
Как читать данные, специфичные для GenericRecord, в конфлюентной кафке C #
Это мой простой фрагмент кода, который пытается прочитать стандартную форму записи Avro:
using (var schemaRegistry = new CachedSchemaRegistryClient(new SchemaRegistryConfig { SchemaRegistryUrl = schemaRegistryUrl }))
using (var consumer = new...
1362 просмотров
schedule
25.09.2023
реестр нескольких схем kafka для одного кластера
Я пытаюсь подключить два экземпляра реестра схемы kafka к одному и тому же кластеру kafka и zookeeper. Но схемы смешиваются. Если при запуске двух реестров я зарегистрирую схему с помощью api «kafka-schema-registry», она будет создана в...
398 просмотров
schedule
19.07.2023
Spark: чтение сообщений Avro из Kafka с помощью Spark Scala
Я пытаюсь выполнить приведенный ниже код в spark 2.4.3 , чтобы читать сообщения Avro от kafka.
Схема сохраняется в confluent schema registry , когда данные публикуются на kafka. Я пробовал несколько решений, которые уже обсуждались здесь (...
685 просмотров
schedule
16.10.2022
Всякий раз, когда я перезапускаю систему, он показывает, что кодек utf-8 не может декодировать байт 0x98 в kafka, чтобы зажечь
Это мой следующий код для получения данных от kafka для запуска потоковой передачи Сначала он работал, но когда я перезапустил систему, он снова показывает следующую ошибку:
UnicodeDecodeError: кодек utf-8 не может декодировать байт 0x98 в позиции...
103 просмотров
schedule
01.02.2022
Ошибка десериализации сообщения Avro на Sink Connector
Я получаю сообщение об ошибке десериализации сообщения Avro при попытке использовать сообщение avro из темы и сбрасывать их в базу данных postgres.
Вот моя конфигурация продюсера:
spring
Kafka
producer:
bootstrap-servers:...
976 просмотров
schedule
19.03.2023
Push-сообщения в формате avro через golang в kafka
Я пытался отправить несколько сообщений в kafka через confluent go client, но загвоздка в том, что сообщения нужно отправлять в формате avro. То же самое может быть легко достигнуто в приложении java springboot.
У меня есть подозрение, что все это...
1213 просмотров
schedule
21.01.2024
сообщение не начинается с магического байта
Я пытаюсь создать данные в кодировке avro в теме kafka, используя пакет / linkedin / goavro в Go. Цель состоит в том, чтобы иметь возможность использовать тему с использованием разных клиентов.
Сначала я регистрирую схему следующим образом:...
743 просмотров
schedule
17.12.2023
Зачем нужен реестр схем Avro для языков со статической типизацией?
Я задавался вопросом о необходимости реестра схемы Avro при использовании сообщений из темы Kafka с использованием статически типизированного языка, такого как Java. Я получаю сообщения из настройки темы Kafka следующим образом:
Properties...
116 просмотров
schedule
15.02.2022
Невозможно развернуть соединитель debezium mysql с помощью докера Confluent
Я пытаюсь запустить докер-образ конфлюэнта для запуска службы подключения с помощью коннектора Debezium MYSQL, но не смог получить загруженный класс после запуска докера.
Команда Docker
docker run -d \
--name=kafka-connect \...
131 просмотров
schedule
26.10.2022
Невозможно создать тему с проверкой правильности схемы по умолчанию | Confluent Platform
Я пытаюсь создать тему, используя команду ниже
kafka-topics --create --bootstrap-server confluent-platform-cp-kafka:9092 --replication-factor 1 --partitions 1 --topic push.rdes.portfolios --config confluent.value.schema.validation=true
Однако я...
291 просмотров
schedule
07.03.2022
Можно ли преобразовать сообщения Avro с помощью реестра схем в классы сценариев scala?
При создании или использовании сообщений в kafka вместе со схемой Avro, хранящейся в реестре схем, возможно ли автоматическое преобразование сообщений в классы сценария scala?
val props = new Properties()...
44 просмотров
schedule
31.08.2023
реестр конфлюентной схемы, разделяющий внутреннее хранилище Тема Kafka
В основе реестра конфлюентных схем хранятся все схемы в разделе _schema в Kafka. Можно ли разделить эту тему внутреннего хранилища на несколько частей, таких как _schema1 и _schema2?
Почему, потому что в моем производственном варианте использования...
24 просмотров
schedule
06.09.2023
Kafka Connect BigQuery Sink Connector запрашивает несуществующие имена ключевых субъектов из реестра схем.
Это дополнительный вопрос к следующему: Kafka Connect BigQuery Sink Connector запрашивает неверные имена субъектов из реестра схем
При попытке использовать confluentinc/kafka-connect-bigquery на нашем Kafka (Avro) события, я столкнулся со...
37 просмотров
schedule
02.07.2022
