Вопросы по теме 'debezium'
Фильтрация событий доступа для чтения в Debezium
Мы используем Debezium + PostgreSQL.
Обратите внимание, что мы получаем 4 типа событий для создания, чтения, обновления и удаления - c, r, u и d.
Тип события чтения не используется для нашего приложения. На самом деле, я не мог придумать...
295 просмотров
schedule
24.10.2023
Как можно преобразовать org.apache.kafka.connect.data.Decimal, хранящийся в файле avro, в тип python?
Я пытаюсь интерпретировать запись Avro , хранящуюся в Debezium в Kafka , используя Python .
{
"name": "id",
"type": {
"type": "bytes",
"scale": 0,...
1440 просмотров
schedule
04.06.2022
Поддерживает ли kafka-connect транзакции?
Мне нужно написать клиент, который будет вставлять события в kafka. Мне нужно вставить несколько событий в несколько тем в рамках одной транзакции. Я хочу знать, возможно ли это через kafka-connector, или мне следует создать нового производителя в...
749 просмотров
schedule
27.06.2022
Соединитель Mongodb debezium заполняет Rowkey как 0 (ноль) и Key как 0 ноль, даже если данные содержат допустимые значения
У меня есть образец файла Json, который я загрузил в mongo db для отправки в Kafka connect с помощью коннектора debezium. Мой вопрос, как значения столбцов RowKey и id могут быть преобразованы в 0 (нули), несмотря на наличие действительных данных в...
116 просмотров
schedule
15.02.2024
Как получить доступ к удаленной базе данных в Apache Kafka?
Я новичок в кафке. здесь я пытаюсь построить конвейер данных в реальном времени в kafka. У меня есть база данных, которая находится удаленно. Я действительно не понимаю, как получить доступ к базе данных, а база данных постоянно обновляется, как в...
503 просмотров
schedule
26.02.2023
Как фиксировать сбои подключения к базе данных Embedded-debezium с помощью java?
В моем встроенном приложении CDC на основе debezium я хочу зафиксировать сбои подключения к базе данных, чтобы автоматически повторить попытку подключения.
Есть ли способ зафиксировать сбой подключения к базе данных в моей программе?
95 просмотров
schedule
20.09.2023
Настройка плагина Kafka connect Postgress Debezium CDC
Я пытаюсь использовать kafka connect для чтения изменений в базе данных postgress. У меня Kafka работает в моей локальной системе, и я хочу использовать API подключения Kafka в автономном режиме для чтения изменений БД сервера postgress....
571 просмотров
schedule
13.12.2023
Тема на основе соединителя Kafka debezium mysql: для потоков и таблиц ksql все значения столбцов заканчиваются «нулевыми»
Соединитель Debezium MySQL настроен и работает правильно, но когда я создаю поток или таблицу в KSQL на основе темы, все значения столбцов возвращаются как нулевые.
Я знаю, что разъем в основном работает, потому что...
$ confluent consume...
155 просмотров
schedule
16.12.2022
Не удается подключить приложение Spring к debezium kafka
Я пытаюсь подключить свое весеннее приложение к debezium / kafka: 0.10, но безуспешно. Первоначально приложение использовало изображение wurstmeister / kafka, но теперь я представляю новую функциональность с debezium и хочу использовать только один...
291 просмотров
schedule
23.04.2024
Свойства коннектора Debezium mongodb для ограничения cdc определенными коллекциями
Можем ли мы ограничить объем данных, которые мы получаем в свойствах коннектора в конфигурациях коннектора debezium mongodb . Поскольку debezium ищет cdc в базе данных и, как я понимаю, это для всей базы данных, и я не мог найти способ ограничить...
295 просмотров
schedule
28.04.2023
Коннектор Debezium Kafka mongodb: ошибка при подключении коннектора kafka к mongodb
Ниже моя конфигурация MongoDB в /etc/kafka/connect-mongodb-source.properties
name=mongodb-source-connector
connector.class=io.debezium.connector.mongodb.MongoDbConnector
mongodb.hosts=/remoteserveraddress:27017
mongodb.name=mongo_conn...
844 просмотров
schedule
04.09.2023
Восстановить базу данных из Kafka
Я разрабатываю доказательство концепции системы, основанной на Kafka и имеющей базу данных.
Используя Debezium (распределенную платформу с открытым исходным кодом для сбора измененных данных из базы данных), я буду создавать события в кластере...
184 просмотров
schedule
21.03.2022
Получение ошибки «ORA-44001: недопустимая схема» при предоставлении прав администратора пользователю-администратору XStream в базе данных контейнера в Oracle
Я пытаюсь создать пользователя-администратора XStream в базе данных контейнера, следуя инструкциям в Debezium. Соединитель для Oracle . Я хочу передавать данные из Oracle в Kafka. Я создал табличные пространства как в базе данных контейнера, так и...
464 просмотров
schedule
07.11.2022
Не удается создать журналы при запуске потребителя kafka после установки cdc на сервере sql 2019 и регистрации соединителя сервера debezium sql
Ранее я уже настраивал CDC в SQL Server на основе этого ссылка и зарегистрируйте соединитель Debezium SQL Server для подключения Kafka на основе этого ссылка . Я запускаю сценарий потребителя Kafka и делаю некоторые данные модификации (вставка,...
71 просмотров
schedule
24.05.2022
Невозможно развернуть соединитель debezium mysql с помощью докера Confluent
Я пытаюсь запустить докер-образ конфлюэнта для запуска службы подключения с помощью коннектора Debezium MYSQL, но не смог получить загруженный класс после запуска докера.
Команда Docker
docker run -d \
--name=kafka-connect \...
131 просмотров
schedule
26.10.2022
Нужна информация о первичном ключе в соединителе Debezium для событий вставки postgres
Я использую коннектор Debezium для postgres с подключением Kafka.
Для события вставки строки, записываемого соединителем в Kafka, мне нужна информация о том, какие столбцы являются первичными ключами, а какие нет. Есть ли способ добиться этого?...
168 просмотров
schedule
16.02.2023
Лучший способ объединить две (или более) темы кафки в KSQL, генерируя изменения из всех тем?
У нас есть платформа для микросервисов, и мы используем debezium для сбора данных об изменениях из баз данных на этих платформах, что хорошо работает.
Теперь мы хотели бы упростить для нас присоединение к этим темам и передачу результатов в новую...
683 просмотров
schedule
22.07.2023
Как я могу использовать коннектор Debezium с Apache Flink
Я пытаюсь создать таблицу API таблицы flink, которая использует функцию источника Debezium, я нашел реализацию этих функций здесь https://github.com/ververica/flink-cdc-connectors и использовал их в моем коде следующим образом:
val...
406 просмотров
schedule
05.11.2022
