Вопросы по теме 'ksqldb'
удаленное подключение к серверу Ksql
У меня есть сервер ksql, работающий на экземпляре ec2, и я хочу подключиться к нему с моей локальной машины. Однако он всегда выдает следующую ошибку:
Error issuing GET to KSQL server
Caused by: java.net.ConnectException: Connection refused...
1375 просмотров
schedule
08.03.2024
Соединитель Mongodb debezium заполняет Rowkey как 0 (ноль) и Key как 0 ноль, даже если данные содержат допустимые значения
У меня есть образец файла Json, который я загрузил в mongo db для отправки в Kafka connect с помощью коннектора debezium. Мой вопрос, как значения столбцов RowKey и id могут быть преобразованы в 0 (нули), несмотря на наличие действительных данных в...
116 просмотров
schedule
15.02.2024
KSQL: Left Join with Not Equal, где условие не удовлетворяет результату
Найдите проблему ниже и подтвердите ее.
Шаг 01: На основе условия соединения получение значения как из таблицы, так и из заполнения. Поскольку в таблице B нет соответствующего значения, все столбцы заполняются значением NULL.
Столбец:...
494 просмотров
schedule
26.10.2022
KSQL — изменение часового пояса в предложении WINDOW TUMBLING
Вот мой KSQL с использованием пункта WINDOW TUMBLING :
SELECT
sale_date,
region,
SUM(total)
FROM orders
WINDOW TUMBLING (SIZE 24 HOURS)
GROUP BY sale_date, region;
Некоторый результат:
2018-09-29|+|zskx_fz :...
596 просмотров
schedule
01.09.2023
Исправление агрегированного представления в потоковых данных
Этот вопрос связан с агрегированными представлениями KSQL или технологией потоковой обработки. Когда мы получаем события, мы применяем групповое предложение для их агрегирования. Теперь наступает событие, которое является исправлением некоторого...
141 просмотров
schedule
05.12.2023
Номер потока запроса KSQL
есть ли способ указать количество потоков, которые должен потреблять запрос KSQL, выполняемый на сервере KSQL? Другими словами, параллельность запроса.
Есть ли ограничение на количество приложений, которые можно запустить на сервере KSQL? Когда и...
254 просмотров
schedule
21.08.2022
Конечные точки KSQL websocket
Я хочу использовать непрерывные запросы к KSQL Server с использованием запросов веб-сокетов. Я слышал, что KSQL CLI и Control Center взаимодействуют с KSQL Server с помощью запросов веб-сокетов, но я не нашел никакой информации об использовании...
333 просмотров
schedule
01.02.2022
KSQL UDF: DataException: схемы Struct не совпадают
Я пытаюсь создать поток как select (CSAS), поток создается успешно, но когда я пытался отправить сообщения, я получаю следующее исключение.
Caused by: org.apache.kafka.connect.errors.DataException: Struct schemas do not match.
at...
362 просмотров
schedule
28.04.2022
Сервер KSQL не может нормально работать после перезапуска с большим количеством зарегистрированных потоков
Я запускаю сервер KSQL в интерактивном режиме, чтобы иметь возможность создавать потоки на лету (в соответствии с потребностями бизнеса), когда я достиг около 400 потоков, работающих одновременно, сервер KSQL, когда он запускался в первый раз и...
195 просмотров
schedule
06.06.2022
Пакетный потребитель Kafka без повторяющихся записей
У меня следующие требования: мы читаем из реляционной базы данных с CDC вставкой / обновлением в определенную таблицу и импортируем их как события в тему Kafka.
например jdbc-источник-тема...
255 просмотров
schedule
19.06.2023
Как обрабатывать потоковые данные, когда сервер KSQL работает в режиме Headless?
Мне нужно развернуть KSQL на рабочем сервере, поэтому я изменил интерактивный режим на безголовый. Создал SQL-скрипт для загрузки всех потоков при запуске контейнера. Теперь я хочу увидеть данные потока. Сколько существует способов увидеть эти...
166 просмотров
schedule
05.12.2023
KSQLDB REGEXP_REPLACE не найден
Самое странное, я получаю сообщение об ошибке при попытке
REGEXP_REPLACE(user_id, 'a.b+', 'bar')
Не удалось найти функции с именем "REGEXP_REPLACE"
но это работает
REGEXP_EXTRACT('(([aeiouAEIOU]).)', user_id, 2)
оба взяты...
64 просмотров
schedule
09.02.2024
Чтение сообщения JMS как json, а не текста с помощью коннектора источника Kafka ActiveMQ
Я использую Kafka Connect в течение последних нескольких месяцев, и недавно я включил исходный плагин ActiveMQ, чтобы читать некоторые сообщения темы JMS, которые содержат файл json внутри, помещать их в тему kafka, а затем создавать поток / таблицу в...
399 просмотров
schedule
03.02.2022
Лучший способ объединить две (или более) темы кафки в KSQL, генерируя изменения из всех тем?
У нас есть платформа для микросервисов, и мы используем debezium для сбора данных об изменениях из баз данных на этих платформах, что хорошо работает.
Теперь мы хотели бы упростить для нас присоединение к этим темам и передачу результатов в новую...
683 просмотров
schedule
22.07.2023
Запрос материализованного представления с помощью group by и latest_by_offset возвращает один и тот же ключ дважды
Я перехожу по этой ссылке для запроса материализованного представления и ожидает, что group by вернет только одну строку для каждого ключа, но это не так (сенсор-1 появляется дважды в запросе ниже):
ksql> SELECT sensor,...
42 просмотров
schedule
18.02.2022
KSQL Cli работает, но KSQL Python API не работает во время работы сервера KSQL
Мне удалось настроить сервер KSQL и клиент CLI KSQL для использования потока с использованием KSQL и его работы с использованием cli. Например, команда show themes работает ниже
ksql> SHOW TOPICS;
Kafka Topic |...
148 просмотров
schedule
07.06.2024
Как удалить значение из таблицы ksqldb или вставить значение захоронения?
Как можно пометить строку в таблице ksql для удаления через Rest api или хотя бы как инструкцию в ksqldb-cli?
CREATE TABLE movies (
title VARCHAR PRIMARY KEY,
id INT,
release_year INT
) WITH (
KAFKA_TOPIC='movies',...
163 просмотров
schedule
15.04.2023
Рекомендации ksqlDB для развертывания большого набора запросов
Я запускаю потоковое приложение ksqlDB, которое состоит из большого количества запросов (›60 запросов), включая множество объединений и агрегатов. Мои данные поступают из различных источников и требуют множества манипуляций для получения желаемых...
83 просмотров
schedule
01.11.2023
KSQLDB: выберите поля как массив
Я пытаюсь преобразовать данные из одной темы (тема чтения) в другую (тему записи) через KsqlDb.
Это данные, которые были созданы для чтения по теме
{
"orderNumber": "01235656",
"deliveryBarcode":...
46 просмотров
schedule
30.04.2022
