Как загрузить большое количество файлов в хранилище Google?

Как правильно загрузить определенную папку с ПК с тысячами файлов и подпапок в Google Storage Bucket?

Я попытался с помощью команды gsutil:

gsutil -m cp -r myfolder gs://my-bucket

Но передача останавливается и загружается только несколько из сотен файлов, пока не выпадет ошибка Python.

Это правильный способ сделать это?

Microsoft Azure Storage имеет (замечательный) графический инструмент под названием Microsoft Azure Storage Explorer, и с командой azcopy работает отлично, так быстро загружая все тысячи файлов.


file storage cloud gsutil numbers
person Viabit S.L.    schedule 18.12.2019    source источник
comment
Какая у вас ошибка? У вас есть файлы размером более 8 МБ? Если у вас большие файлы, попробуйте использовать параллельную составную загрузку< /а>. Внимательно ознакомьтесь с рекомендациями по загрузки данных и избегайте использования последовательные имена файлов, чтобы избежать создания горячих точек.   -  person Daniel Ocando    schedule 18.12.2019

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете использовать gsutil с рекурсивным флагом -R для загрузки всех файлов и подкаталогов.

gsutil -m cp -R dir gs://my_bucket
person Waelmas    schedule 30.12.2019