Я написал задание mapreduce для сканирования таблицы hbase за определенный период времени, чтобы подсчитать определенные элементы, необходимые для анализа.
Картографы в работе MR продолжают давать сбои, но я не знаю, почему. Кажется, что каждый раз, когда я запускаю задание, разное количество картографов терпит неудачу. Журнал YARN (см. ниже) от менеджера Cloudera не помогает указать, в чем проблема, хотя кто-то сказал, что у меня может не хватать памяти.
Кажется, он повторяет попытку несколько раз, но каждый раз это не удается. Что мне нужно сделать, чтобы он перестал давать сбои, или как я могу регистрировать события, чтобы лучше определять, что происходит?
Ниже приведен журнал от YARN для одного из неудачных картографов.
Итак, похоже, что для моего случая мне нужно было продлить настройку тайм-аута. В моей Java-программе мне пришлось добавить следующие строки, чтобы исключение исчезло:
