Как Standby Resource Manager узнает об узле и соответствующих деталях метки узла, когда получает управление?

Когда резервный диспетчер ресурсов берет на себя управление, как он идентифицирует узлы и информацию об их метках узлов? Я имею в виду, где хранятся все эти метаданные и кто на самом деле отвечает за синхронизацию этих фрагментов информации?

Любая помощь будет оценена.


hadoop yarn resourcemanager
person Abhishek Mishra    schedule 25.11.2019    source источник
comment
Я бы предположил, что это Zookeeper. Вы смотрели на это?   -  person OneCricketeer    schedule 28.11.2019
comment
спасибо, @cricket_007 Не в zookeeper, но я попробовал некоторые места в RM, такие как файл include_host внутри /etc/hadoop/conf, но он содержит только общий список хостов в пряже, включая все метки узлов. Любая идея о возможных местах поиска в zookeeper?   -  person Abhishek Mishra    schedule 28.11.2019

Ответы (1)


arrow_upward
1
arrow_downward

Метки хранятся в HDFS.

В yarn-site.xml он определяется yarn.node-labels.fs-store.root-dir

https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

person OneCricketeer    schedule 28.11.2019
comment
Какие другие флаги и файлы конфигурации поддерживаются для полного аварийного восстановления при выходе из строя диспетчера ресурсов? - person Abhishek Mishra; 29.11.2019
comment
Я предполагаю, что вы имеете в виду NodeManagers. Менеджеры ресурсов не имеют резервных копий. Это задокументировано здесь hadoop.apache.org/docs /current/hadoop-yarn/hadoop-yarn-site/ - person OneCricketeer; 29.11.2019
comment
Кроме того, кто отвечает за ведение узлов и сведений об их метках узлов в HDFS? - person Abhishek Mishra; 29.11.2019
comment
Я предполагаю, что диспетчер ресурсов сообщает свои метки диспетчеру узлов, который затем сохраняет в HDFS. - person OneCricketeer; 29.11.2019
comment
На ваш предыдущий вопрос: нет, вся установка находится в HA с 3 узлами для каждого (RM и NM). Но когда активный RM выходит из строя, он теряет информацию об узле и его метке узла и добавляет все узлы в раздел по умолчанию. Вот почему я хотел знать эту метаинформацию, чтобы отладить основную причину. - person Abhishek Mishra; 29.11.2019
comment
Насколько я знаю, у вас не может быть более двух RM, одного активного и одного резервного. Я бы проверил yarn-site.xml между всеми машинами на наличие различий - person OneCricketeer; 29.11.2019
comment
Согласно документам Apache, в архитектуре RM HA - в любой момент времени один из RM является активным, а один или несколько RM находятся в режиме ожидания, ожидая, когда что-нибудь произойдет с активным. Ссылка [hadoop.apache.org/ документы/r3.0.3/hadoop-yarn/hadoop-yarn-site/ - person Abhishek Mishra; 29.11.2019
comment
Как и когда Shutdown Nodes очищают от пряжи? увеличивая это до очень большого значения, увеличивая нагрузку пряжи. - person Abhishek Mishra; 03.04.2020
comment
Привет, @cricket_007 извините, если я неясно выразился, но я хотел знать, как я могу удалить узлы отключения из пряжи? Это уже мертвые узлы. - person Abhishek Mishra; 03.04.2020