Ошибка при отправке задания sqoop2

Я получаю сообщение об ошибке при отправке задания sqoop2.

sqoop:000> start job --jid 1
Submission details
Job id: 1
Status: FAILURE_ON_SUBMIT 
Creation date: 2013-11-06 11:21:30 IST
Last update date: 2013-11-06 11:21:30 IST

Exception: java.io.FileNotFoundException: File does not exist: hdfs://master:9000/usr/local/sqoop/server/webapps/sqoop/WEB-INF/lib/sqoop-common-1.99.3.jar

Нужно ли нам помещать все файлы sqoop jar в HDFS?

Я запускаю задания sqoop на том же главном узле Hadoop 2.2.0.


hadoop sqoop
person cwocwo    schedule 05.01.2014    source источник
comment
Включите подробный режим и повторите команду запуска отправки. sqoop.apache.org/docs/1.99.3/   -  person Jarek Jarcec Cecho    schedule 05.01.2014
comment
в org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288) в org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224) в org.apache.hadoop.mapreduce .filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:93)   -  person cwocwo    schedule 06.01.2014
comment
в org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57) в org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:264)   -  person cwocwo    schedule 06.01.2014
comment
Три приведенных выше комментария были стеками ошибок в sqoop.log.   -  person cwocwo    schedule 06.01.2014

Ответы (2)


arrow_upward
0
arrow_downward

Наконец-то я скопировал все необходимые jar-библиотеки в hdfs, и это сработало.

hadoop fs -mkdir -p /usr/local/sqoop/server/webapps/sqoop/WEB-INF/lib/
hadoop fs -copyFromLocal /usr/local/sqoop/server/webapps/sqoop/WEB-INF/lib/*.jar /usr/local/sqoop/server/webapps/sqoop/WEB-INF/lib/
person cwocwo    schedule 07.01.2014

arrow_upward
0
arrow_downward

Измените mapred-site.xml файл.

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

Я имел успех

person pesky    schedule 18.03.2014