Hadoop-2.7.2: Как управлять ресурсами

Я использую сервер с 16 ядрами, 64 ГБ оперативной памяти, 2,5 ТБ диска и хочу запустить программу Giraph. Я установил hadoop-2.7.2 и не знаю, как настроить его так, чтобы он использовал только часть ресурсов сервера, потому что сервер используется многими пользователями. Требования. Hadoop должен использовать не более 12 ядер (=> 4 ядра для NameNode, DataNode, JobTracker, TaskTracker и не более 8 для задач) и не более 28 ГБ оперативной памяти (т. е. 4*3 ГБ + 8*2 ГБ).

Конфигурация ресурсов моего Yarn-сайта:

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>28672</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>12</value>
    <description>Number of CPU cores that can be allocated for containers.</description>
</property>
</configuration>

Когда я пытаюсь запустить программу Giraph, в http://localhost:8088 состояние приложения Yarn: ПРИНЯТО: ожидание AM контейнер, который нужно выделить, запустить и зарегистрировать в RM.

Я думаю, что некоторые конфигурации отсутствуют в моем Yarn-site.xml, чтобы адаптировать вышеуказанные требования.


resources yarn hadoop2 giraph
person user349    schedule 07.02.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Прежде чем назначать ресурсы службам, ознакомьтесь с файл по настройке Yarn Cloud

Как вы упомянули

Состояние приложения Yarn: ПРИНЯТО: ожидание выделения, запуска и регистрации контейнера AM в RM.

Если для задания нет доступных ресурсов, оно будет находиться в состоянии ПРИНЯТО, пока не получит ресурсы. Итак, в вашем случае проверьте, сколько заданий отправляется одновременно, и проверьте использование ресурсов для этих заданий.

Если вы хотите настроить отсутствие ожидания для своих заданий, вам следует подумать о создании scheduler queues

person BruceWayne    schedule 09.02.2017