Нужно ли нам форматировать datanode для файловой системы HDFS или нам нужно только отформатировать namenode

При настройке псевдо или полного кластера нам нужно отформатировать узел данных для установки файловой системы HDFS или нам нужно только отформатировать узел имен.

Я спрашиваю об этом, потому что, как я читал во многих блогах, HDFS хранит данные в последовательном порядке на жестком диске, и это абстрактный уровень, который хранит данные в больших блоках, а не в хранилище размера блока по умолчанию, предоставляемом файловой системой хоста.

Если мы не форматируем датанод, то мощная функция HDFS не работает.


person Sagar Chawla    schedule 14.01.2019    source источник


Ответы (1)


Форматирование и монтирование жестких дисков напрямую не связано с форматированием HDFS. Концептуально идея «форматирования» та же. Но эти две задачи полностью разделены и не имеют прямой связи.

Команда hadoop format не форматирует и не монтирует жесткие диски. Жесткие диски уже должны быть отформатированы и смонтированы. Когда вы запускаете команду форматирования для HDFS, она подготавливает файл NameNode fsimage, чтобы знать, где находятся все блоки хранения на дисках данных.

person Ajay Kharade    schedule 14.01.2019
comment
Спасибо за ответ. - person Sagar Chawla; 15.01.2019
comment
Если вы согласны с этим, вы можете принять ответ, это поможет и другим людям. - person Ajay Kharade; 15.01.2019