Я хочу выполнить задание ETL по запросу, используя архитектуру AWS.
Этот процесс ETL будет выполняться ежедневно, и я не хочу постоянно платить за инстанс EC2. Это задание ETL может быть написано, например, на Python.
Я знаю, что в EMR я могу построить свой кластер по запросу и выполнить задание HADOOP.
Какая архитектура лучше всего подходит для выполнения простого задания ETL по запросу?
Самым простым было бы запустить экземпляр Amazon EC2 и запустить задание ETL как часть Данные пользователя. Сценарий, переданный через данные пользователя, автоматически выполняется при запуске экземпляра.
Если вы хотите проявить творческий подход, вы можете запустить экземпляр, используя спотовую цену. Запускайте с использованием высокой спотовой цены (чтобы обеспечить ее функционирование), но, скорее всего, вам придется заплатить только низкую цену, исходя из текущего спотового рынка.
(Я сотрудник Qubole). Если вы собираетесь использовать Hadoop для запуска своих скриптов Python, Qubole управляет кластером за вас. Он запустит ваши кластеры, когда задание будет отправлено, и отключится, когда кластер простаивает в течение длительного времени. Более подробная информация доступна в разделе часто задаваемых вопросов: http://docs.qubole.com/en/latest/faqs/hadoop-clusters/clusters-baught-shutdown.html
Теперь вы можете разместить свой скрипт на AWS Lambda для ETL. Он поддерживает планировщик и триггер на других компонентах AWS. Он предоставляется по запросу и будет взимать плату только после выполнения функции Lambda.
Для задания ETL по запросу вы можете использовать AWS Lambda для запуска лямбда-функции, которая будет содержать код запуска для вашего задания ETL. AWS Lambda можно запустить через другие сервисы AWS, такие как: S3, CloudWatch (запуск в указанное время), SNS и т. Д.
You can use boto3 (http://boto3.readthedocs.io/en/latest/) SDK if you are planning to use python based AWS Lambda function to access the AWS services which also include AWS Glue.
