Простое приложение для пряжи Hadoop YARN

Я пытаюсь запустить простое приложение для пряжи, указанное здесь: https://github.com/hortonworks/simple-yarn-app

Я новичок в Java и Hadoop, и когда я пытаюсь скомпилировать простой клиентский файл пряжи, используя «javac», я получаю следующую ошибку:

Клиент.java:9: error: package org.apache.hadoop.conf does not exist

import org.apache.hadoop.conf.Configuration;

Команда, которую я использую для компиляции файла:

javac Client.java

Я погуглил эту ошибку, чтобы узнать, смогу ли я найти, какой файл JAR отсутствует в моем пути к классам, но я не нашел ничего полезного в отношении YARN. Большинство результатов были связаны с HBASE, PIG или HIVE.

Может ли кто-нибудь указать мне на соответствующий файл JAR, который мне здесь не хватает? Спасибо.


java hadoop yarn
person Farrukh    schedule 18.06.2014    source источник
comment
Спасибо, Ризви, за предложение редактирования. Теперь выглядит намного читабельнее.   -  person Farrukh    schedule 18.06.2014

Ответы (2)


arrow_upward
3
arrow_downward

Проблема была решена. Мне не нужно было вручную добавлять файлы JAR в путь к классам. Я просто использовал команду 'bin/hadoop classpath'. Он автоматически добавляет необходимые файлы JAR.

Команда, используемая для компиляции файла:

# javac -cp `$HADOOP_HOME\bin\hadoop classpath` Client.java
person Farrukh    schedule 19.06.2014
comment
Не могли бы вы также поделиться со мной процедурой запуска? - person Prasanna; 09.07.2014
comment
Эй, чтобы запустить этот пример: (1) Клонируйте репо (2) Используйте maven для создания пакета (3) Следуйте командам в файле README, предоставленном с репо - person Farrukh; 11.07.2014

arrow_upward
2
arrow_downward

Добавьте jar-файлы hadoop в свой путь к классам:

HADOOP_CLIENT=/usr/lib/hadoop/client-0.20
HADOOP_LIB=/usr/lib/hadoop/lib

for i in ${HADOOP_CLIENT}/*.jar ; do
    CLASSPATH=$CLASSPATH:$i
done

for i in ${HADOOP_LIB}/*.jar ; do
    CLASSPATH=$CLASSPATH:$i
done

javac -cp $CLASSPATH yourclass.java

Сохраните его как runScript.sh и запустите.

person Ramanan    schedule 18.06.2014
comment
Я попытался найти JAR-файл ядра Hadoop в имеющемся у меня пакете Hadoop, но ничего не нашел. Однако была куча других файлов JAR. - person Farrukh; 18.06.2014
comment
Спасибо за помощь. Но ошибка все равно остается. Я добавил все файлы JAR из каталога: $HADOOP_HOME/share/hadoop/yarn/lib Теперь я попробую использовать команду jar -tf, чтобы проверить, Я могу заглянуть в файлы JAR для правильного. - person Farrukh; 19.06.2014
comment
Спасибо за вашу помощь, я решил проблему. Позвольте мне обновить ответ самостоятельно. Еще раз спасибо, очень признателен. - person Farrukh; 19.06.2014