Присоединение к потоковой передаче данных с помощью динамической таблицы BigQuery в Dataflow SQL

У меня есть задание Dataflow SQL, которое объединяет потоковый PubSub с таблицей BigQuery и записывает результат в таблицу BigQuery. Когда я добавляю новую запись (новый sales_region) в мою таблицу us_state_salesregions, новый sales_region НЕ отображается в таблице результатов.

Только после создания нового задания потока данных вновь добавленный sales_region отображается в таблице результатов запроса.

SELECT tr.*, sr.sales_region
FROM pubsub.topic.`project-id`.transactions as tr
  INNER JOIN bigquery.table.`project-id`.dataflow_sql_dataset.us_state_salesregions AS sr
  ON tr.state = sr.state_code

Что мне делать, чтобы в результате запроса получить только что добавленный sales_region (без запуска нового задания потока данных)?


google-bigquery google-cloud-dataflow
person Marko    schedule 11.05.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Операции чтения из ограниченного источника (например, BigQuery) считаются статическими и не перечитываются во время конвейера потоковой передачи.

Если ваш боковой столик достаточно мал, вы можете настроить таймеры цикла, которые периодически -читает вашу большую таблицу и присоединяется к ней.

person robertwb    schedule 11.05.2021