Здесь есть полезная информация об общем времени передачи провод для передачи данных в / из различных источников.
Помимо времени передачи необработанных данных, я пытаюсь приблизительно оценить, сколько времени потребуется для импорта ~ 12 ТБ в день в BigQuery с помощью службы передачи данных BigQuery для DoubleClick Campaign Manager.
Это где-нибудь задокументировано?
В первой ссылке, которой вы поделились, есть изображение , который показывает скорость передачи (приблизительную) в зависимости от пропускной способности сети.
Допустим, у вас есть пропускная способность 1 Гбит / с, тогда данные будут доступны в вашем проекте GCP примерно через 30 часов, поскольку вы передаете 12 ТБ, что близко к 10 ТБ. Таким образом, перевод занимает полтора дня.
Если вы действительно хотите передавать 12 ТБ в день, потому что вам нужно, чтобы эти данные были доступны каждый день, а увеличение пропускной способности невозможно, я бы порекомендовал вам пакетировать данные и создавать разные службы передачи для каждого пакета. В качестве примера:
Это можно применить к меньшим пакетам данных, если вы хотите получить более детальное решение.
