Как перенести файл/файлы из одной корзины/каталога S3 в другую с помощью AWS Data Pipeline

Я хотел бы перенести файл (т.е. скопировать его в целевой каталог и удалить из исходного каталога) из одного каталога корзины S3 в другой, используя конвейер данных AWS.

Я попытался использовать ShellCommandActivity и создал скрипт, который перемещал файл/файлы из одного сегмента/каталога S3 в другой. Но в результате он только скопировал его в целевую корзину/каталог S3 и не удалил файл в исходном каталоге S3.

Заранее спасибо!


amazon-web-services amazon-s3 amazon-data-pipeline
person user3131985    schedule 24.12.2013    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Если вы хотите удалить что-то из корзины S3, вы должны удалить это явно; нет собственного понятия «переместить», кроме копирования и удаления.

Тем не менее, в прошлый раз, когда я пытался, я обнаружил, что не могу удалить из ресурса корзины S3 в конвейере данных. Мне пришлось обойти это, используя вместо этого s3cmd.

person G Gordon Worley III    schedule 25.12.2013
comment
Привет, спасибо за информацию. Вы запускали s3cmd в ShellCommandActivity в конвейере данных? - person user3131985; 26.12.2013
comment
Можете поделиться, как вы это сделали? - person user3131985; 27.12.2013
comment
На самом деле нечего делиться: просто настройте ShellCommandActivity и поместите в нее команды, которые вы хотите выполнить, или запустите сценарий оболочки, хранящийся на S3. - person G Gordon Worley III; 29.12.2013
comment
Привет, у меня есть сценарий оболочки, хранящийся в S3, содержащий следующую команду: #!/bin/bash s3cmd mv ${INPUT1_STAGING_DIR}/* ${OUTPUT1_STAGING_DIR}/; Я попытался запустить команду локально, и она отлично работает. Но когда я попытался запустить сценарий в конвейере данных AWS, я получаю следующую ошибку: Причина: Сценарий возвращен со статусом выхода 127. Можете ли вы помочь проверить, что не так или чего не хватает в моем сценарии или в моем конвейере данных. продвигать! - person user3131985; 02.01.2014
comment
Привет, вы использовали/создали Task Runner для запуска вашей ShellCommandActivity? - person user3131985; 07.01.2014