Я использую инфраструктуру Elastic Mapreduce на Amazon AWS. Jowflow был остановлен автоматически. Причина последнего изменения состояния согласно Amazon Console: «Все ведомые устройства в потоке заданий были прерваны».
Создать команду рабочего процесса:
elastic-mapreduce --create --name MyCluster --alive --instance-group master --instance-type m1.xlarge --instance-count 1 --bid-price 2.0 --instance-group core --instance-type m1.xlarge --instance-count 10 --bid-price 2.0 --hive-interactive --enable-debugging
Подробная информация о процессе работы:
Последние несколько строк журнала ...
Total MapReduce jobs = 2
Launching Job 1 out of 2
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201310231204_0099, Tracking URL = http://ip-10-197-16-105.us-west-1.compute.internal:9100/jobdetails.jsp?jobid=job_201310231204_0099
Kill Command = /home/hadoop/bin/hadoop job -Dmapred.job.tracker=10.197.16.105:9001 -kill job_201310231204_0099
2013-10-23 14:11:38,618 Stage-1 map = 0%, reduce = 0%
2013-10-23 14:11:48,741 Stage-1 map = 100%, reduce = 0%
Как видно из журналов выше, ошибка как таковая не возникает.
Я думаю, причина в том
Думаю, что это произошло из-за резкого повышения цен на спотовые экземпляры. Подробнее в моем ответе ниже.