Вопросы по теме 'confluent-platform'
Конфлюентная схема реестра Avro Schema
Привет, я хотел бы использовать реестр схем Confluent с сериализаторами Avro: документация теперь в основном говорит: не используйте одну и ту же схему для нескольких разных themes
Кто-нибудь может мне объяснить, почему? Я повторно исследую...
1362 просмотров
schedule
25.10.2023
org.apache.spark.SparkException: не удалось найти смещения лидера для Set ([test-topic, 0])
Я пытаюсь использовать платформу Confluent и делаю высокоуровневые запросы Kafka к конечной точке REST, используя это code в качестве примера.
Я использую следующие параметры Kafka:
val kafkaParams = Map(
"bootstrap.servers" ->...
3271 просмотров
schedule
17.06.2023
Confluent и Cassandra: получение исключения данных: не удалось десериализовать данные в Avro, неизвестный магический байт
Я следовал руководству из http://www.confluent.io/blog/kafka-connect-cassandra-sink-the-perfect-match/ , и я могу вставлять данные из консоли avro в cassandra. Теперь я пытаюсь расширить это, чтобы использовать flume, и у меня на моей машине...
1182 просмотров
schedule
24.06.2023
сливной улей kafka hdfs
Я использую слияние для импорта данных из kafka в hive, пытаясь сделать то же самое: Записи сегмента на основе времени (kafka-hdfs-connector)
мой конфиг стока такой:
{
"name":"yangfeiran_hive_sink_9",
"config":{...
647 просмотров
schedule
25.04.2023
Коннектор Kafka JDBC загружает все данные, затем инкрементно
Я пытаюсь понять, как сначала получить все данные из запроса, а затем постепенно изменять только с помощью коннектора kafka. Причина в том, что я хочу загрузить все данные в эластичный поиск, а затем синхронизировать es с моими потоками kafka. В...
1889 просмотров
schedule
24.10.2022
Как использовать другой порт для confluent-kafka?
У меня Kafka работает в порту, отличном от порта по умолчанию 9092.
Как я могу указать confluent-kafka на использование этого порта? Потому что ни в документации по API , ни в Github Я вижу конфигурацию "порта", только конфигурацию сервера...
1229 просмотров
schedule
20.07.2022
SSL confluent-kafka-dotnet librdkafka SSL
У меня проблема с работой библиотеки confluent-kafka-dotnet с SSL. Все работает нормально без SSL, и я могу заставить SSL работать, используя собственные скрипты kafkas, как показано ниже.
> .\kafka-console-producer.bat --broker-list...
3506 просмотров
schedule
05.02.2023
Запуск kafka connect в распределенном режиме?
Всего у меня 3 ВМ (CloudVPS). На каждом из них установлена java, confluent с открытым исходным кодом. В VM1 я запускаю 3 процесса Splunk-sink-connector, которые считываются из разных тем и работают на разных портах. И с помощью вызовов REST я...
10096 просмотров
schedule
29.07.2022
Kafka Streams не запускает вывод для объединенных потоков?
У меня есть необработанные потоки из 3 таблиц mysql, 1 основной и двух дочерних таблиц. Я попытался объединить три сырых потока и преобразовал их в один выходной поток. Он работает, если есть какие-либо обновления в родительском потоке, но не...
811 просмотров
schedule
06.05.2022
Ошибка подключения Nexus к репозиторию Confluent
находясь за менеджером репозитория Nexus (3.4.x), я пытаюсь установить соединение с репозиторием Confluent/Maven. Я попробовал несколько шагов, наиболее полные инструкции, которые я пробовал, можно найти здесь: Репозиторий Confluent Maven не...
638 просмотров
schedule
22.05.2024
Конфлюентный режим запроса подключения jdbc kafka
Я использую объединенный источник kafka connect jdbc, чтобы отправлять записи из таблицы mysql в мою тему kafka, но кажется, что столбец даты преобразуется во время эпохи.
Это мой конфиг:
{
"name": "mysql-source-test",
"config": {...
556 просмотров
schedule
17.10.2022
удаленное подключение к серверу Ksql
У меня есть сервер ksql, работающий на экземпляре ec2, и я хочу подключиться к нему с моей локальной машины. Однако он всегда выдает следующую ошибку:
Error issuing GET to KSQL server
Caused by: java.net.ConnectException: Connection refused...
1375 просмотров
schedule
08.03.2024
Confluent Platform и java.nio.file.DirectoryNotEmptyException
Я использую многофункциональную платформу Confluent Platform https://docs.confluent.io/current/quickstart/ce-docker-quickstart.html .
Я выполнил шаги, описанные в документации выше, и смог запустить Confluent Platform на компьютере с Windows 10 с...
433 просмотров
schedule
06.04.2022
KSQL: Left Join with Not Equal, где условие не удовлетворяет результату
Найдите проблему ниже и подтвердите ее.
Шаг 01: На основе условия соединения получение значения как из таблицы, так и из заполнения. Поскольку в таблице B нет соответствующего значения, все столбцы заполняются значением NULL.
Столбец:...
494 просмотров
schedule
26.10.2022
Confluent — Как использовать внешний зоопарк вместо встроенного зоопарка
Раньше я устанавливал автономный Confluent сервер со встроенным Zookeeper (ZK). Но теперь у моего prod-сервера есть собственный ZK-кластер. Поэтому я хочу использовать его вместо встроенного ZK в Confluent.
Например, используя ksql . Хотя я...
469 просмотров
schedule
05.04.2023
KSQL — изменение часового пояса в предложении WINDOW TUMBLING
Вот мой KSQL с использованием пункта WINDOW TUMBLING :
SELECT
sale_date,
region,
SUM(total)
FROM orders
WINDOW TUMBLING (SIZE 24 HOURS)
GROUP BY sale_date, region;
Некоторый результат:
2018-09-29|+|zskx_fz :...
596 просмотров
schedule
01.09.2023
Пример функции приостановки-возобновления confluent kafka python
Пытался использовать сливающиеся функции паузы и возобновления потребителя kafka, но не смог найти в Интернете никаких примеров, кроме основной ссылки.
https://docs.confluent.io/5.0.0/clients/confluent-kafka-python/index.html
Не удалось понять...
676 просмотров
schedule
24.06.2022
Как подключиться к Kafka в Kubernetes извне?
Задача состоит в том, чтобы создать производителя Kafka, который подключается к кластеру Kafka, который находится в кластере Kubernetes, извне этого кластера. У нас есть несколько баз данных РСУБД, которые размещаются в помещении, и мы хотим...
1321 просмотров
schedule
11.02.2022
Не удается собрать исходный код kafka-connect-jdbc
Команда mvn install не работает, и я не могу собрать исходный код kafka-connect-jdbc. Я намерен изменить исходный код kafka-connect-jdbc.
Я выполнил инструкции https://github.com/confluentinc/kafka-connect-jdbc/issues/456 и...
678 просмотров
schedule
27.02.2022
Пытаюсь создать сообщение в теме kafka для каждой итерации, но похоже, что в итоге я не отправляю сообщение потребителю
Невозможно написать сообщение в тему kafka (продюсер) при вызове класса kakfa production с циклом.
Я новичок в Python и Kafka. Я пытаюсь написать программу на Python для записи сообщений в тему Kafka и создания, чтобы потребитель Kafka мог...
516 просмотров
schedule
10.05.2022
