Я пытаюсь передать несколько CSV-файлов из контейнера хранилища Azure в корзину GCP через конвейер объединения данных.
Я могу успешно передать один файл, указав указанный ниже путь (полный путь для определенного CSV-файла) для поля «путь» для конфигурации хранилища BLOB-объектов Azure wasbs://[email protected]/< strong>CSV-файл.csv
но когда я пытаюсь передать несколько файлов из контейнера «contrainername», ниже «путь» не работает (здесь я не упомянул ни одного имени файла после «/», так как мне нужно передать все файлы в этом контейнере)
'wasbs://[email protected]/'
Возникает исключение, поскольку «программа Spark «фаза-1» завершилась с ошибкой: / не найден. Пожалуйста, проверьте системные журналы для получения более подробной информации'
Здесь я использую «Токен SAS» для аутентификации, который генерируется на уровне контейнера, который отлично работает для файла полного пути.
Есть ли какая-либо опция Forloop в конвейере GCP для перебора файлов? заранее спасибо
Изменить: токен SAS, сгенерированный на уровне контейнера, не работает для пути '/'. Токен SAS, сгенерированный на уровне учетной записи хранения, может выбрать все файлы в этом каталоге. Но он объединяет данные всех файлов в один файл (создается в хранилище GC).
Кто-нибудь может помочь в том, как передавать файлы отдельно? Спасибо
