Как получить доступ к удаленной базе данных в Apache Kafka?

Я новичок в кафке. здесь я пытаюсь построить конвейер данных в реальном времени в kafka. У меня есть база данных, которая находится удаленно. Я действительно не понимаю, как получить доступ к базе данных, а база данных постоянно обновляется, как в режиме реального времени. Я читал о debezium [https://debezium.io/docs/tutorial/], но полностью учебнике они не показали ни одного примера, в котором они извлекли данные из удаленной базы данных в реальном времени. У меня есть база данных MySQL.


mysql apache-kafka apache-kafka-connect database-connection debezium
person P Singh    schedule 02.09.2018    source источник
comment
В руководстве глава Мониторинг базы данных MySQL (debezium.io/docs/tutorial/#monitor -mysql) описывает, как он подключается к MySQL. Вы настраиваете адрес вашей базы данных и учетные данные в конфигурации плагина вместе с таблицами, которые вы хотите отразить. Как только вы создадите коннектор, он будет автоматически извлекать данные из базы данных и отправлять их в Kafka.   -  person Jakub    schedule 02.09.2018
comment
Не совсем понятно, что вы имеете в виду под удаленным здесь. Конечно, Debezium может подключиться к базе данных MySQL на любом другом хосте, то есть Kafka Connect, и с ним Debezium не нужно запускать на том же хосте. Для cricket_007, конечно, имеет смысл расположить коннектор ближе к БД, чтобы уменьшить задержки (так как вы размещаете свое обычное приложение рядом с БД).   -  person Gunnar    schedule 04.09.2018

Ответы (1)


arrow_upward
2
arrow_downward

В идеале Debezium должен работать как можно ближе к серверу базы данных.

Но если вы посмотрите учебник, если он указывает удаленный контейнер докера, и вы можете заменить имя хоста тем, что соответствует вашей среде.

"connector.class":  "io.debezium.connector.mysql.MySqlConnector", 
"tasks.max": "1", 
"database.hostname": "... Your server here... ", 
"database.port": "3306",

Другим вариантом являются соединители Kafka Connect JDBC, и вы можете увидеть несколько сообщений в блоге Confluent о том, как вы можете их настроить.

person OneCricketeer    schedule 02.09.2018
comment
Эй, простите меня за то, что я немного опоздал - так можно ли запустить debezium на том же хосте, что и база данных, и отправить информацию CDC в удаленный кластер kafka? - person Funsaized; 13.06.2019
comment
Это возможно, конечно. Просто помните о нагрузке, которую вы добавите на этот сервер. - person OneCricketeer; 13.06.2019