Я пытаюсь создать кластер разных размеров, и поэтому мне нужны формулы, по которым я могу рассчитать ОЗУ, ЦП и дисковую память namenode, пряжи и диспетчера ресурсов. также хочу знать, как ОЗУ, ЦП и диск связаны друг с другом.

У меня есть автономная установка hadoop с использованием рабочей станции VMware. Я могу запустить hadoop, используя следующие команды ./start-dfs.sh ./start-yarn.sh Вот hdfs-site.xml <property>...

При выполнении «hadoop namenode -format» появляется сообщение ниже. Re-format filesystem in Storage Directory /opt/data/temp/dfs/name ? (Y or N) Что тут дать? "Д" или "Н". Если задано Y, будут ли потеряны данные из HDFS?

У меня есть многоузловой кластер в Hadoop, состоящий из двух машин. на первой машине (настроенной ведущей и ведомой) работают узел имени и узел данных, а на второй машине (настроенная ведомая) работает узел данных. Я хочу загружать и распределять...

У меня есть кластер Hadoop, на котором работает Cloudera CDH3 , эквивалент Apache Hadoop 0.20.2 . Я хочу перезапустить средство отслеживания заданий, так как есть некоторые задания, которые не убиваются. Я попытался убить их из командной строки,...

У меня есть простой java-клиент, который сохраняет файлы в HDFS, настроенный с 1 узлом имени. Для этого я использую конфигурацию hadoop, указав файловую систему по умолчанию, например: org.apache.hadoop.conf.Configuration conf = new...

При настройке псевдо или полного кластера нам нужно отформатировать узел данных для установки файловой системы HDFS или нам нужно только отформатировать узел имен. Я спрашиваю об этом, потому что, как я читал во многих блогах, HDFS хранит данные в...

У меня вопрос по блок-отчетам, отправляемым в NameNode от DataNodes, когда клиент пишет в HDFS, а также акку от NameNode клиенту о закрытии файла. Не мог бы кто-нибудь уточнить этот абзац книги Hadoop: «Когда клиент закончил запись данных,...

Среда : производственный кластер имеет 2 именных узла (а именно активный и резервный), и узлы представляют собой диски SAS в конфигурации Raid-1. На этих узлах нет ничего, кроме основных служб (NN и резервных NN), работающих на каждом из них. У них...

Как только я устанавливаю Hadoop и впервые набираю hdfs namenode –format или hadoop namenode -format в cmd, я получаю ошибку ниже, может ли кто-нибудь помочь мне в ее решении. 1-й он спрашивает меня об этом: Переформатировать файловую...