Веб-интерфейс Amazon EMR Application Master?

Я начал выполнять задания PIG на Amazon EMR с помощью Hadoop YARN (AMI 3.3.1), однако, поскольку в Yarn больше нет средства отслеживания заданий, я не могу найти веб-интерфейс, чтобы отслеживать количество Mappers и Reducers для задания MapReduce, когда я пытаюсь получить доступ к ссылке Application Master, представленной на странице пользовательского интерфейса диспетчера ресурсов, мне говорят, что страница не существует (изображение представлено ниже).

Кто-нибудь знает, как я могу получить доступ к пользовательскому интерфейсу через свой веб-браузер, который покажет мне текущий статус задания с точки зрения количества картографов, редукторов и% выполнения для каждого и т. д.?

Спасибо введите здесь описание изображения


amazon-emr hadoop yarn hadoop2
person Mo.    schedule 03.02.2015    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Как только вы нажмете ссылку ApplicationMaster на веб-странице ResourceManager, вы будете перенаправлены на веб-интерфейс ApplicationMaster; поскольку EMR использует экземпляры EC2, и каждый экземпляр EC2 имеет 2 связанных с ним IP-адреса, один из которых используется для частной связи, а другой — для общедоступной. EMR использует частные IP-адреса (частный DNS) для настройки Hadoop, поэтому вы будете перенаправлены на такой URL-адрес:

http://10.204.137.136:9046/proxy/application_1423027388806_0003/

который, как вы могли видеть, указывает на частный IP-адрес экземпляра, и, следовательно, ваш браузер не может разрешить IP-адрес, вам просто нужно заменить частный IP-адрес общедоступным IP-адресом (или общедоступным DNS-именем) этого экземпляра:

URL заменен экземплярами общедоступного DNS

Получение общедоступного IP-адреса экземпляра

  1. Использование веб-интерфейса EC2

    Вы можете войти в консоль AWS EC2 и найти IP-адрес экземпляра

    Консоль AWS EC2, показывающая сведения об экземпляре

  2. Используя консоль:

    Если вы вошли в экземпляр и хотите узнать его общедоступный IP-адрес, введите следующую команду, которая вернет вам общедоступный IP-адрес этого экземпляра.

    curl http://169.254.169.254/latest/meta-data/public-ipv4

Также ознакомьтесь с этой страницей документации AWS о том, как просматривать веб-интерфейсы, которые предоставляют другие параметры, такие как настройка туннелирования SSH и использование прокси-сервера SOCKS.

person Ashrith    schedule 04.02.2015
comment
Что делать, если вы используете частную подсеть? Я могу получить доступ к главному узлу через другую машину в общедоступной подсети, но щелчок по главной ссылке приложения просто сидит при подключении... Меня никуда не перенаправляют. Я пробовал частный IP и DNS подчиненных узлов с портом 20888. - person Davos; 07.04.2017