ведомые узлы данных не расположены в хранилище главного узла

Недавно я устанавливаю многоузловой кластер hadoop на Ubuntu, все идет, namenode и вторичный узел (его имя HadoopMaster), все подчиненные устройства 2 (HadoopDataNode1, HadoopDataNode2)

проблема, когда скрипт start-dfs.sh и start-yarn.sh выполняется, все подчиненные узлы выполняют свою обычную работу «datanode и Nodemanager», все работает нормально, но главный узел HadoopMaster при проверке отчета я получаю только один datanode, который является узлом данных MasterNode, но я не нашел и DataNode из других узлов данных .. все файлы журнала выглядят хорошо, без исключений

результат от dfsadmin -отчет

Configured Capacity: 7791403008 (7.26 GB)
Present Capacity: 1433530368 (1.34 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: HadoopMaster
Decommission Status : Normal
Configured Capacity: 7791403008 (7.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 6357872640 (5.92 GB)
DFS Remaining: 1433505792 (1.34 GB)
DFS Used%: 0.00%
DFS Remaining%: 18.40%

я обнаружил в журналах узла данных, что все узлы данных пытаются подключиться к HadoopMaster: 9000 и не могут подключиться

2014-09-16 04:06:32,721 INFO org.apache.hadoop.ipc.Client: 
Retrying connect to server:        
HadoopMaster/192.168.16.80:9000. Already tried 5 time(s); 
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

но Namenode работает нормально, результат JPS на namenode HadoopMaster

21655 SecondaryNameNode
22467 Jps
21514 DataNode
21376 NameNode
21809 ResourceManager

и я проверил, открыт ли порт HDFS

tcp        0      0 HadoopMaster:9000       *:*                     LISTEN    21376/java

**все узлы данных доступны для входа в систему HadoopMaster vi SSH без пароля

любое предложение пожалуйста..


hadoop cluster-computing yarn hadoop2
person Yassine Abdul-Rahman    schedule 16.09.2014    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Кажется, есть какая-то проблема с конфигурацией: Jps от мастера не должен показывать работающий узел данных.

Если вы специально добавили главный узел, чтобы он вел себя как подчиненный в подчиненных узлах главного узла, то в jps он также должен отображать менеджер узлов.

Пожалуйста, перепроверьте следующие файлы:

/etc/hosts/
core-site.xml
hdfs-site.xml
yarn-site.xml files on all nodes and slaves file on master node.
person Community    schedule 18.09.2014
comment
Просто к вашему сведению, кнопку «форматировать как код» следует применять только к блокам кода, а не ко всему сообщению :) Я внес изменения, чтобы вы могли увидеть, как это будет работать. - person AHiggins; 18.09.2014