Загрузка данных в Hadoop с помощью spring xd

Немного сложно понять, что не так, но я попытаюсь сделать обоснованное предположение. Я не знаю, используете ли вы один узел XD или распределенный режим, изменили ли вы конфигурацию по умолчанию и как вы создали поток. Справочный документ можно найти в Spring XD.

Я использую свою установку. Я запускаю XD на своей основной ОС (localhost) и HDFS на своем vm (node1).

Поскольку по умолчанию адрес hdfs namenode считается hdfs://localhost:8020, его необходимо изменить. Для этого используйте файл servers.yml и замените fsUri (обратите внимание на пробелы в этом формате файла yaml).

config/servers.yml:

# Hadoop properties
spring:
  hadoop:
    fsUri: hdfs://node1:8020

Я запускаю один узел XD:

./xd-singlenode

Затем запускаем потоковые команды, пишем что-нибудь и проверяем, что написано:

xd:>hadoop config fs --namenode hdfs://node1:8020

xd:>hadoop fs ls --recursive true --dir /xd
lsr: `/xd': No such file or directory

xd:>stream create --name test --definition "http|hdfs" --deploy
Created and deployed new stream 'test'

xd:>http post --data "hello" http://localhost:9000
> POST (text/plain;Charset=UTF-8) http://localhost:9000 hello
> 200 OK

xd:>hadoop fs ls --recursive true --dir /xd
drwxr-xr-x   - jvalkealahti supergroup          0 2014-07-14 21:33 /xd/test
-rw-r--r--   3 jvalkealahti supergroup          0 2014-07-14 21:33 /xd/test/test-0.txt.tmp

xd:>stream destroy --name test 
Destroyed stream 'test'

xd:>hadoop fs ls --recursive true --dir /xd
drwxr-xr-x   - jvalkealahti supergroup          0 2014-07-14 21:33 /xd/test
-rw-r--r--   3 jvalkealahti supergroup          6 2014-07-14 21:33 /xd/test/test-0.txt

xd:>hadoop fs cat --path /xd/test/test-0.txt
hello

Вы должны отправлять сообщения на свой компьютер XD, а не на компьютер Hadoop HDFS.

Получатель XD HTTP получит POST и направит его в HDFS для вас.

Убедитесь, что ваш узел настроен для вашего Hadoop, и ваша оболочка тоже.

если вы используете Pivotal PHD 2.0, например:

xd-singlenode --hadoopDistro phd20

xd-shell --hadoopDistro phd20

xd:> had config fs --namenode hdfs://MyPivotalHDServer:8020

Ознакомьтесь с документацией Spring-XD на Github, чтобы узнать последние новости, и получите текущую версию Spring XD, которая постоянно улучшается. https://github.com/spring-projects/spring-xd/wiki/Sources#http

Чтобы создать определение потока на сервере с помощью оболочки XD

xd:> stream create --name httptest --definition "http | hdfs" --deploy

Отправьте некоторые данные на http-сервер через порт по умолчанию 9000.

xd:> http post --target http://localhost:9000 --data "hello world to hadoop from springxd"

Это видео на YouTube познакомит вас с примером: http://youtu.be/41sIhawjHE0?t=37m6s