Вопросы по теме 'beam-sql'
Beam SQL не будет работать при использовании агрегации в операторе: невозможно спланировать выполнение
У меня есть базовый конвейер Beam, который читает из GCS, выполняет преобразование Beam SQL и записывает результаты в BigQuery.
Когда я не выполняю агрегацию в своем операторе SQL, он работает нормально:
..
PCollection<Row> outputStream...
708 просмотров
schedule
29.09.2022
Как выбрать набор полей из входных данных в виде массива повторяющихся полей в луче SQL
Постановка задачи:
У меня есть вход PCollection со следующими полями:
{
firstname_1,
lastname_1,
dob,
firstname_2,
lastname_2,
firstname_3,
lastname_3,
}
затем я выполняю операцию Beam SQL, так что вывод...
208 просмотров
schedule
10.09.2023
Как интегрировать оконный запрос Beam SQL с KafkaIO?
Во-первых, у нас есть входной источник kafka в формате JSON:
{"event_time": "2020-08-23 18:36:10", "word": "apple", "cnt": 1}
{"event_time": "2020-08-23 18:36:20",...
207 просмотров
schedule
03.02.2022
