В выпуске Hadoop отсутствует каталог /conf

Я пытаюсь установить установку Hadoop с одним узлом на Ubuntu. Я начал следовать инструкциям по Hadoop 2.3. документы.

Но я, кажется, упускаю что-то очень простое.

Во-первых, это говорит о

Чтобы получить дистрибутив Hadoop, загрузите последнюю стабильную версию с одного из зеркал загрузки Apache.

Затем,

Распакуйте загруженный дистрибутив Hadoop. В дистрибутиве отредактируйте файл conf/hadoop-env.sh, чтобы определить как минимум JAVA_HOME в качестве корня вашей установки Java.

Однако я не могу найти каталог conf.

Я скачал версию 2.3 с одного из зеркал. Затем распаковал tarball, внутри возвращается ls:

$ ls
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share

Мне удалось найти файл, на который они ссылались, но не в каталоге conf:

$ find . -name hadoop-env.sh
./etc/hadoop/hadoop-env.sh

Я что-то пропустил, или я беру не тот пакет? Или документы просто устарели?

Если да, то кто-нибудь знает, где находятся более свежие документы?


hadoop hadoop2
person Sanketh Katta    schedule 19.03.2014    source источник

Ответы (5)


arrow_upward
12
arrow_downward

Я пытаюсь установить псевдораспределенный режим Hadoop, но сталкиваюсь с той же проблемой.

В книге Полное руководство по Hadoop (третье издание) на странице 618 говорится:

In Hadoop 2.0 and later, MapReduce runs on YARN and there is an additional con-
figuration file called yarn-site.xml. All the configuration files should go in the
etc/hadoop subdirectory

Надеюсь, это подтверждает, что etc/hadoop - правильное место.

person Spectral    schedule 19.05.2014

arrow_upward
6
arrow_downward

Я думаю, что документы должны быть обновлены. Хотя структура каталогов изменилась, имена важных файлов, таких как hadoop-env.sh, core-ste.xml и hdfs-site.xml, не изменились. Вы можете найти следующую ссылку полезной для начала работы.

http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html

person aasoj    schedule 19.03.2014
comment
Спасибо, это был отличный пост в блоге, он продвинул меня намного дальше, но я все еще сталкиваюсь с некоторыми проблемами. Немного абсурдно, что официальная документация устарела даже для самой базовой настройки. Похоже, это относится ко всем версиям 2x. Даже документация текущей стабильной версии . - person Sanketh Katta; 19.03.2014

arrow_upward
5
arrow_downward

В Hadoop1,

{$HADOOP_HOME}/conf/

В Hadoop2,

{$HADOOP_HOME}/etc/hadoop
person Ani Menon    schedule 14.01.2017

arrow_upward
2
arrow_downward

Просто добавьте примечание в запись блога http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html. Пост в блоге фантастический и очень полезный. Вот как я начал. Один аспект, на который я потратил немного времени, заключается в том, что этот блог, похоже, использует упрощенный способ предоставления конфигурации в файлах конфигурации Hadoop, таких как «conf/core-site.xml», hdfs-site.xml и т. д. следующее

<!--fs.default.name is the name node URI -->
<configuration>
    fs.default.name
    hdfs://localhost:9000
</configuration>

В соответствии с официальными документами существует более строгий способ — это было бы полезно, если у вас есть более одного свойства, чтобы добавить его следующим образом (обратите внимание — описание не является обязательным :-))

<configuration>
    <property>
    <name> fs.default.name </name>
    <value>hdfs://localhost:9000 </value>
    <description>the name node URI </description>
    </property>
    <!--Add more configuration properties here -->
</configuration>
person Yogesh Devi    schedule 06.08.2014

arrow_upward
2
arrow_downward

в Hadoop 2.7.3 файл находится в hadoop-common/src/main/conf/

$ sudo find . -name hadoop-env.sh
./hadoop-2.7.3-src/hadoop-common-project/hadoop-common/src/main/conf/hadoop-env.sh
person javaProgrammer    schedule 10.01.2017