Я хотел воспользоваться преимуществами новой функции BigQuery для таблиц с временным разделением, но не уверен, что в настоящее время это возможно в версии 1.6 Dataflow SDK.
Посмотрите на BigQuery JSON API, чтобы создать дневную секционированную таблицу нужно пройти в
"timePartitioning": { "type": "DAY" }
вариант, но интерфейс com.google.cloud.dataflow.sdk.io.BigQueryIO позволяет указывать только TableReference.
Я подумал, что, может быть, я смогу заранее создать таблицу и проникнуть в декоратор раздела с помощью лямбда-выражения BigQueryIO.Write.toTableReference ..? Кто-нибудь еще добился успеха с созданием / записью секционированных таблиц через поток данных?
Это похоже на проблему, аналогичную установке срока действия таблицы, которая в настоящее время также недоступна. .