Список копий больших двоичных объектов службы хранилища Azure

У меня огромное количество файлов, более миллиона, внутри контейнера BLOB-объектов Azure. Это всего лишь один контейнер без структуры каталогов. Я хочу скопировать подмножество этих файлов, около 150 КБ, из исходного контейнера в целевой контейнер. У меня есть список имен всех файлов, которые я хочу скопировать. Как лучше всего это сделать? Я предпочитаю использовать javascript или python.

Я пробовал azcopy, который позволяет мне перемещать один файл или каталог файлов, но не список имен файлов. Работа с этим файлом по одному - это слишком медленно.

Я также пробовал посмотреть документацию по azure-storage библиотеке javascript, но, похоже, ничего не понял.


person CaptainStiggz    schedule 08.05.2019    source источник
comment
Если у вас есть список имен всех файлов, которые вы хотите скопировать, и имеют ли файлы, которые вы хотите скопировать, одинаковое расширение, или все файлы, которые вы хотите скопировать, в промежутке времени?   -  person Ivan Yang    schedule 09.05.2019
comment
@CaptainStiggz Соответствовал ли предоставленный ответ вашему вопросу? Если да, пожалуйста, проголосуйте за или отметьте как ответ, чтобы помочь сообществу найти подходящие ответы.   -  person Adam Smith - Microsoft Azure    schedule 23.05.2019


Ответы (1)


Я настоятельно рекомендую использовать пакетную операцию загрузки Azure CLI, она будет рекурсивно загружать большие двоичные объекты в конкретное место назначения по вашему выбору:

az storage blob download-batch -d . --pattern *.py -s MyContainer --account-name MyStorageAccount

-d означает назначение,. является локальным. Дополнительную информацию об этой опции можно найти здесь

person Adam Smith - Microsoft Azure    schedule 08.05.2019
comment
Итак, для pattern в документации указано [seq] как поддерживаемое. Означает ли это, что я могу поставить [file1.txt, file2.txt, ...]? Я пробую это прямо сейчас, и выбор только одного файла очень медленный. - person CaptainStiggz; 09.05.2019
comment
Итак, для шаблона вы можете загружать по расширению или определенным именам, например, .py загрузит все файлы python и т. Д. - person Adam Smith - Microsoft Azure; 09.05.2019
comment
@CaptainStiggz был ли приведенный выше ответ полезным для вас? Спасибо, - person Adam Smith - Microsoft Azure; 10.05.2019