Amazon EC2 Windows AMI с общим хранилищем S3

В настоящее время у меня есть базовый AMI Windows 2008 Server, который я создал на Amazon EC2. Я использую его для одновременного создания 20-30 экземпляров EC2 на основе EBS для обработки больших объемов данных в PDF-файлы для клиента. Однако после завершения обработки данных мне приходится вручную подключаться к каждой машине и копировать файлы. Это требует много времени и усилий, поэтому я пытаюсь найти лучший способ использовать S3 в качестве централизованного хранилища для выходных PDF-файлов.

Я видел ряд сторонних (коммерческих) утилит, которые могут сопоставлять корзины S3 с дисками в Windows, но есть ли лучший и более разумный способ добиться того, что я хочу? Раньше я не использовал S3, а только EC2, поэтому я не знаю, какие варианты доступны, и мне не удалось найти в Интернете ничего, посвященного проблеме использования S3 в качестве централизованного хранилища для нескольких экземпляров Windows EC2.

Обновление: спасибо за предложения инструментов командной строки для использования S3. Надеялся на что-то более интегрированное и менее специальное. Учитывая, что EC2 тесно связан с S3 (S3 раньше был механизмом хранения по умолчанию для AMI и т. д.), я мог бы сделать что-то более аккуратное/простое. Возможно, даже вокруг частных облачных сетей и серверов S3 с поддержкой EC2 и т. д. или что-то в этом роде (область, о которой я ничего не знаю). Нет других идей?


person pauldunlop    schedule 10.12.2010    source источник
comment
Вы, наверное, давно это исправили, если нет. Почему бы не подключить том EBS к одному серверу и просто поделиться им с другими серверами с помощью сетевого ресурса Windows?   -  person Yooakim    schedule 24.10.2011
comment
На самом деле это идея, к которой я пришел в конце концов, хотя к этому моменту у нас закончилось время, и мы просто сделали это сложным путем, вручную копируя материал вокруг машин. Поскольку все машины EC2 имеют внутренние IP-адреса, и вы можете создавать группы машин, это кажется наиболее логичным решением. Спасибо за предложение. Обязательно так попробую в следующий раз.   -  person pauldunlop    schedule 24.10.2011


Ответы (3)


Я бы, наверное, искал инструмент командной строки. Быстрый поиск в Google привел меня к инструменту .Net:

http://s3.codeplex.com/

И Java:

http://www.beaconhill.com/opensource/s3cp.html

Я уверен, что есть и другие.

person dana    schedule 11.12.2010
comment
Единственное, что я хотел бы сказать об этом, это то, что он чувствует себя немного adhoc. Я бы подумал/надеялся, что, поскольку я использую EC2, еще один облачный сервис Amazon, могут быть лучшие способы добиться этого. Я предполагаю, основываясь на небольшом количестве ответов, что это не так? - person pauldunlop; 12.12.2010
comment
Отбивные - я согласен, вы могли бы подумать, что есть лучший способ. По крайней мере, на данный момент кажется, что вам нужно использовать какой-то клиент S3 для передачи данных из вашего AMI в общую корзину S3. К вашему сведению, если вы ищете ec2 на форуме S3, там много чего есть (forums.aws.amazon.com/). - person dana; 14.12.2010
comment
Привет @дана. Я осмотрюсь. - person pauldunlop; 15.12.2010

Вы могли бы использовать экземпляр EC2 с EBS, экспортированным через samba, который может действовать как централизованное хранилище, которое могут отображать экземпляры Windows?

person Krishna    schedule 02.05.2011
comment
Это интересная идея, нужно будет выяснить, каковы скорости подключения между инстансами EC2 и насколько легко они могут взаимодействовать друг с другом. В идеале было бы неплохо, если бы они записывали файлы по внутренним IP-адресам, но я раньше этого не пробовал. - person pauldunlop; 03.05.2011

для меня это очень похоже на работу с Hadoop/Amazon MapReduce. К сожалению, Hadoop лучше всего развертывается в Linux:

Hadoop на сервере Windows

Я предполагаю, что программное обеспечение, которое вы используете для обработки PDF, предназначено только для Windows? Если это не так, я бы серьезно подумал о переносе вашего решения на Linux.

person jvdbogae    schedule 10.12.2010
comment
К сожалению, это совершенно нестандартное программное обеспечение, для которого требуется полная среда Windows .NET/IIS. У нас нет выбора. Текущая установка, которая у нас есть, отлично работает для фактического поколения. Это просто вопрос поиска способа, чтобы все 30 машин записывали в одно централизованное место, чтобы сократить время постобработки. - person pauldunlop; 10.12.2010