Я подписан на Майкла Нолла руководство по настройке многоузлового кластера и запуску примера программы MapReduce. Я устанавливаю Hadoop версии 2.2.0. В Hadoop 2.2.0 нет каталога contrib. Я искал банки с помощью команды find из текущего каталога. Результат поиска был
Мой вопрос: Как запустить программу mapreduce в многоузловой кластерной среде Hadoop?
Запуск программы MapReduce на многоузловом кластере такой же, как и на одном узле. шаги по запуску примера программы mapreduce для 0.23 и выше (даже для 2.2.0) приведены в ссылке: Изучение Hadoop. Здесь приведена программа Wordcount. даже вы можете запустить pi-оценку с той же банкой
У нас есть 4-узловой кластер hadoop-2.2.0.
Можно запустить тест подсчета слов из командной строки, выполнив следующую команду из корневой папки Hadoop (в нашем случае /usr/local/hadoop), используя:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /user/
hduser/in /user/hduser/out
Примечание:
- folder name is different under hadoop: /share/hadoop/mapreduce/
Мы создали папку hduser/in (hdfs dfs -mkdir -p /user/hduser/in), скопировали в нее тестовый файл подсчета слов (hdfs dfs -copyFromLocal wc_test.txt /user/hduser/in) и указали выходную папку ( не должно существовать).
