Когда моя работа с mapreduce завершена, я могу перейти к URL-адресу истории работы и увидеть там индивидуальный журнал редьюсера/сопоставителя. Однако у меня много картографов и редукторов, и мне нужно загрузить их все на свой локальный диск, чтобы проанализировать его. Я не знаю расположение этих файлов журнала в hdfs. Ты знаешь где это?
Где находится журнал выполнения картографа и редуктора в hdfs?
Ответы (3)
Я предполагаю, что вам нужна команда unix:
yarn logs -applicationId <applicationId>
Идентификатор приложения раскрывается во время запуска приложения MR, например.
...
15/07/13 10:52:23 INFO input.FileInputFormat: Всего входных путей для обработки: 4
15/07/13 10:52:23 INFO mapreduce.JobSubmitter: количество разбиений: 4
15/07/13 10:52:23 INFO mapreduce.JobSubmitter: Отправка токенов для задания: job_1424784903733_0762
15/07/13 10:52:24 INFO impl.YarnClientImpl: Отправлено приложение application_1424784903733_0762
/strong>
... : или вы можете проверить это на веб-странице истории веб-поиска.
Команда делает дамп всех журналов обработки MR в stout.
person
crazy_barber
schedule
13.07.2015
На самом деле журналы пользователей хранятся на локальном компьютере только там, где работает служба nodemanager и где установлено свойство yarn.nodemanager.log-dirs.
Эти журналы не будут сохраняться в папке HDFS. Если вы хотите сохранить эти журналы в HDFS, вам необходимо включить Log Aggregation in YARN
Проверьте приведенные ниже ссылки для получения дополнительной информации.
Упрощение пользовательских журналов
Агрегация журналов YARN
Similar questions
Где Hadoop хранит журналы приложений YARN?
person
Kumar
schedule
13.07.2015
Журналы можно найти по адресу localhost: 50070 в разделе «Утилиты».
person
Rachit Ahuja
schedule
14.07.2015
