Ошибка AWS EMR: все ведомые устройства в потоке заданий были прерваны

Я использую инфраструктуру Elastic Mapreduce на Amazon AWS. Jowflow был остановлен автоматически. Причина последнего изменения состояния согласно Amazon Console: «Все ведомые устройства в потоке заданий были прерваны».

Создать команду рабочего процесса:

elastic-mapreduce --create --name MyCluster --alive --instance-group master --instance-type m1.xlarge --instance-count 1 --bid-price 2.0 --instance-group core --instance-type m1.xlarge --instance-count 10 --bid-price 2.0 --hive-interactive  --enable-debugging

Подробная информация о процессе работы: введите описание изображения здесь

Последние несколько строк журнала ...

Total MapReduce jobs = 2
Launching Job 1 out of 2
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201310231204_0099, Tracking URL = http://ip-10-197-16-105.us-west-1.compute.internal:9100/jobdetails.jsp?jobid=job_201310231204_0099
Kill Command = /home/hadoop/bin/hadoop job  -Dmapred.job.tracker=10.197.16.105:9001 -kill job_201310231204_0099
2013-10-23 14:11:38,618 Stage-1 map = 0%,  reduce = 0%
2013-10-23 14:11:48,741 Stage-1 map = 100%,  reduce = 0%

Как видно из журналов выше, ошибка как таковая не возникает.

Я думаю, причина в том

Думаю, что это произошло из-за резкого повышения цен на спотовые экземпляры. Подробнее в моем ответе ниже.


person Mayank Jaiswal    schedule 23.10.2013    source источник


Ответы (1)


Здесь я отвечаю на свой вопрос.

Я думаю, что это произошло из-за резкого удорожания спотовых инстансов. Моя цена предложения составляла 2 доллара за инстанс в час для инстанса m1.xlarge.

Снимок цен на спотовые экземпляры консоли AWS:

снимок цен на спотовые экземпляры консоли AWS

Вы можете заметить синие скачки цен. Моя ставка составляла 2 доллара, а фактическая цена подскочила до 11 долларов. Следовательно, мой кластер был убит автоматически.

person Mayank Jaiswal    schedule 23.10.2013
comment
Одна из стратегий, позволяющих избежать такой проблемы, состоит в том, чтобы сохранить главный и основной экземпляры как экземпляры по запросу, а экземпляры задач - как отдельные. Это защитит кластер от скачков цен, но приведет к увеличению затрат. Эта стратегия используется AWS Datapipeline. - person Mayank Jaiswal; 02.10.2015