Запрос команды hadoop namenode -format

При выполнении «hadoop namenode -format» появляется сообщение ниже.

Re-format filesystem in Storage Directory /opt/data/temp/dfs/name ? (Y or N)

Что тут дать? "Д" или "Н".

Если задано Y, будут ли потеряны данные из HDFS?


hadoop hdfs namenode
person earl    schedule 15.03.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Этот вопрос будет задан только тогда, когда dfs.namenode.name.dir уже существует, т. е. каталог либо уже отформатирован, либо существующий каталог сопоставлен с dfs.namenode.name.dir.

Если вы хотите переформатировать его снова, укажите Y, иначе N.

При передаче Y каталог будет отформатирован, удалив все существующие метаданные (журналы fsimage и edits). Это переформатирование удаляет только метаданные, каталоги данных dfs.datanode.data.dir необходимо удалить вручную.

person franklinsijo    schedule 15.03.2017
comment
Снова и снова я получаю сообщение о том, что не могу получить длину блока. Есть источник, который записывает записи в HDFS и в журналы, снова и снова я вижу это «Не удалось получить проблему с длиной блока». Кроме того, когда я открываю файл HDFS, он не открывает его, а вместо этого выдает это исключение блока. Когда я делаю hdfs fsck /, он выдает «ЗДОРОВЫЙ» для /. Но все же возникает это исключение длины блока. Когда я перезапускаю демоны hadoop, я могу открывать файлы. Но модуль записи hdfs из этого источника по-прежнему выдает исключение блока. - person earl; 15.03.2017
comment
Когда я сделал hadoop namenode -format и выбрал Y в приглашении, демоны datanode не запускались ни в одном из ведомых устройств. Там работал только nodemanager. Затем мне пришлось удалить каталоги из hadoop.tmp.dir. Форматирование namenode и перезапуск демонов на этот раз запустили узлы данных, но я потерял все свои данные, так как удалил каталоги из hadoop.tmp.dir. Я не могу понять: - Почему это исключение длины блока возникает снова и снова, и какова наилучшая последовательность шагов для форматирования узла имени и запуска демонов. - person earl; 15.03.2017
comment
Что является источником? Я подозреваю, что источник не закрывает файлы должным образом. - person franklinsijo; 15.03.2017
comment
@jumbo, я упомянул в своем ответе, что после форматирования вам нужно вручную удалить каталоги данных, прежде чем снова запускать кластер. Форматирование удалит метаданные и создаст новый идентификатор для namenode. Узлы данных также должны иметь одинаковый идентификатор кластера, чтобы быть частью этого кластера. Таким образом, требуется удаление каталогов данных. Если вы не должны терять данные, вы не должны форматировать в первую очередь. - person franklinsijo; 15.03.2017