Запуск Apache Hadoop 2.1.0 в Windows

Я выполнил следующие шаги для установки Hadoop 2.2.0.

Действия по созданию дистрибутива bin Hadoop для Windows

1. Загрузите и установите Microsoft Windows SDK версии 7.1.

2. Загрузите и установите инструмент командной строки Unix Cygwin.

3. Загрузите и установите Maven 3.1.1.

4. Загрузите Protocol Buffers 2.5.0 и извлеките его в папку (скажем, c:\protobuf).

5. Добавьте переменные среды JAVA_HOME, M2_HOME и платформу, если они еще не добавлены. Примечание. Имя переменной Platform чувствительно к регистру. И значение будет либо x64, либо Win32 для сборки на 64-битной или 32-битной системе. Отредактируйте переменную пути, чтобы добавить каталог bin Cygwin (скажем, C:\cygwin64\bin), каталог bin Maven (скажем, C:\maven\bin) и путь установки протокольных буферов (скажем, c:\protobuf).

6. Загрузите hadoop-2.2.0-src.tar.gz и извлеките его в папку с коротким путем (скажем, c:\hdfs), чтобы избежать проблем во время выполнения из-за ограничения максимальной длины пути в Windows.

7. Выберите Пуск --> Все программы --> Microsoft Windows SDK v7.1 и откройте командную строку Windows SDK 7.1. Измените каталог на папку с исходным кодом Hadoop (c:\hdfs). Выполните пакет mvn с параметрами -Pdist,native-win -DskipTests -Dtar, чтобы создать двоичный дистрибутив tar для Windows.

8. Если на предыдущем шаге все прошло хорошо, то внутри каталога C:\hdfs\hadoop-dist\target\hadoop-2.2.0 будет создан собственный дистрибутив hadoop-2.2.0.tar.gz.

Установите Hadoop

1. Извлеките файл hadoop-2.2.0.tar.gz в папку (скажем, c:\hadoop).

2. Добавьте переменную среды HADOOP_HOME и отредактируйте переменную пути, чтобы добавить каталог bin HADOOP_HOME (скажем, C:\hadoop\bin).

Настроить Hadoop

C:\hadoop\etc\hadoop\core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/hadoop/data/dfs/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/hadoop/data/dfs/datanode</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\mapred-site.xml

<configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
</configuration>

C:\hadoop\etc\hadoop\ yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>

Формат узла имени

Только в первый раз нужно отформатировать namenode.

C:\Users\abhijitg>cd c:\hadoop\bin 
c:\hadoop\bin>hdfs namenode –format

Запустить HDFS (Namenode и Datanode)

C:\Users\abhijitg>cd c:\hadoop\sbin
c:\hadoop\sbin>start-dfs

Запустите MapReduce, также известный как YARN (диспетчер ресурсов и диспетчер узлов)

C:\Users\abhijitg>cd c:\hadoop\sbin
c:\hadoop\sbin>start-yarn
starting yarn daemons

Всего будет автоматически открыто четыре отдельных окна командной строки для запуска Namenode, Datanode, Resource Manager, Node Manager.

Ссылка: Сборка, установка, настройка и запуск Apache Hadoop 2.2.0 в ОС Microsoft Windows

Хан подготовил двоичные файлы Hadoop 2.2 для Windows x64 (см. его блог) и загрузил их на Github.

Поместив два бинарника winutils.exe и hadoop.dll в папку %hadoop_prefix%\bin, я получил тот самый UnsatisfiedLinkError.

Проблема заключалась в том, что отсутствовала какая-то зависимость hadoop.dll. Я использовал Dependency Walker для проверки зависимостей двоичных файлов и файла Распространяемые файлы Microsoft Visual C++ 2010 отсутствовали.

Таким образом, помимо создания всех компонентов самостоятельно, ответ на проблему

• обязательно используйте одну и ту же архитектуру для Java и собственного кода. java -version говорит вам, используете ли вы 32 или x64.
• затем используйте Dependency Walker, чтобы убедиться, что все собственные двоичные файлы являются чистыми и имеют одинаковую архитектуру. Иногда зависимость от x64 отсутствует, и Windows возвращается к x86, что не работает. См. ответ на другой вопрос< /а>.
• также проверьте, удовлетворены ли все зависимости нативных двоичных файлов.

У меня была такая же проблема, но с недавней версией Hadoop v. 2.2.0. Вот мои шаги для решения этой проблемы:

1. Я построил winutils.exe из исходников. Каталог проекта:

   hadoop-2.2.0-src\hadoop-common-project\hadoop-common\src\main\winutils

   Моя ОС: Windows 7. Инструмент для сборки: MS Visual Studio Express 2013 для рабочего стола Windows (это бесплатно и может быть загружено с http://www.microsoft.com/visualstudio/). Открытая студия, File -> Open -> winutils.sln. Щелкните правой кнопкой мыши решение с правой стороны -> Build. В моем случае было несколько ошибок (возможно, вам нужно исправить свойства проекта, указать выходную папку). Виола! Вы получаете winutils.exe — положите его в корзину хаупа.

2. Далее нам нужно построить hadoop.dll. Вот вам и волшебство вуду: открыть

   hadoop-2.2.0-src\hadoop-common-project\hadoop-common\src\main\native\native.sln

   в МС ВС; щелкните правой кнопкой мыши решение -> построить. У меня куча ошибок. Я вручную создал несколько отсутствующих заголовочных файлов (не спрашивайте меня, почему они отсутствуют в исходном архиве!):

   https://github.com/jerishsd/hadoop-experiments/tree/master/sources

   (и не спрашивайте меня, для чего этот проект на git! Я не знаю - гугл указал на это, выполнив поиск имен заголовочных файлов) Я скопировал

   hadoop-2.2.0-src\hadoop-common-project\hadoop-common\target\winutils\Debug\libwinutils.lib

   (результат шага №1) в

   hadoop-2.2.0-src\hadoop-common-project\hadoop-common\target\bin

   И, наконец, операция сборки производит hadoop.dll! Поместите его снова в корзину хаупа и счастливо запустите namenode!

Надеюсь, мои действия кому-нибудь помогут.

В дополнение к другим решениям, здесь находится готовая копия winutil.exe. Загрузите его и добавьте в $HADOOP_HOME/bin. Меня устраивает.

(Источник: Нажмите здесь)

Добавьте файл hadoop.dll (с учетом версии) в каталог system32 в каталоге Windows.

Вы можете получить hadoop.dll по адресу winutils.

Вместо использования официальной ветки я бы предложил оптимизированные окна.

http://svn.apache.org/repos/asf/hadoop/common/branches/branch-trunk-win/

Вам нужно скомпилировать его, собрать winutils.exe под windows и поместить его в каталог hadoop/bin

Возможно, вам потребуется скопировать файлы hadoop.dll и winutils.exe из hadoop-common-bin в %HADOOP_HOME%\bin. Добавьте %HADOOP_HOME%/bin в %PATH% Переменная.

Вы можете скачать hadoop-common с https://github.com/amihalik/hadoop-common-2.6.0-bin

Я столкнулся с той же проблемой с Hadoop 2.4.1 в Windows 8.1; было несколько отличий от полученного решения, вызванных в основном более новой ОС.

Сначала я установил бинарный файл Hadoop 2.4.1, распаковав его в %HADOOP_HOME%.

В предыдущих ответах описано, как настроить Java, protobuf, cygwin и maven, а также необходимые переменные среды. Мне пришлось изменить переменную среды Platform с нечетного значения HP «BCD».

Я скачал исходный код с зеркала Apache и распаковал его в короткий каталог (HADOOP_SRC = C:\hsrc). Maven нормально запустился из стандартной командной строки Windows в этом каталоге: mvn package -DskipTests.

Вместо использования Windows 7 SDK (который мне не удалось загрузить) или Windows 8.1 SDK (в котором нет инструментов сборки из командной строки) я использовал бесплатную Microsoft Visual Studio Express 2013 для рабочего стола Windows< /сильный>. Для сборки Hadoop требовалось расположение MSBuild (C:\Program Files (x86)\MSBuild\12.0) в PATH, а также требовалось, чтобы различные собственные исходные проекты Hadoop были обновлены до более нового формата (MS VS 2013). Ошибки сборки maven были достаточно хороши, чтобы указать абсолютный путь каждого проекта в случае сбоя, что упростило загрузку проекта в Visual Studio (который автоматически преобразуется после запроса).