Как разрешить java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): сбой подпроцесса с кодом 2?

Я пытаюсь выполнить NLTK в среде Hadoop. Ниже приведена команда, которую я использовал для выполнения.

bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.4.jar -input /user/nltk/input/ -output /user/nltk/output1/ -file /home/hduser/softwares/NLTK/unsupervised_sentiment-master.zip -mapper /home/hduser/softwares/NLTK/unsupervised_sentiment-master/sentiment.py

unsupervised_sentiment-master.zip --- содержит все зависимые файлы, необходимые для sense.py.

я получаю

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 2
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362)
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576)
    at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:135)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:36)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

Любая помощь будет принята с благодарностью!!!


hadoop nltk hadoop-streaming
person Praveen Gr    schedule 06.05.2013    source источник
comment
Вы должны проверить журналы с помощью трекера заданий в HadoopUI, они вам помогут.   -  person viper    schedule 15.07.2013

Ответы (4)


arrow_upward
9
arrow_downward

Не могли бы вы опубликовать файлы Python? Я предполагаю, что вам нужно добавить #!/usr/bin/python в начало вашего файла py. Это было в случае, когда я стримил с помощью python.

person quiet_penguin    schedule 08.06.2013

arrow_upward
3
arrow_downward

Добавление строки ниже в начало скрипта Python заставило меня работать с кодом.

#!/usr/бин/питон

person user3886907    schedule 05.10.2014

arrow_upward
2
arrow_downward

В файле sentiment.py добавьте следующую строку вверху:

```

!/usr/bin/окружение Python

```

Это сработало для меня.

person Alex Hamburgers    schedule 17.11.2017

arrow_upward
1
arrow_downward

Я не могу точно сказать, в чем ваша ошибка, но моя заключалась в том, что у меня была неразрешенная зависимость в моем скрипте Python. А именно статмодели.

person Brian Dolan    schedule 31.07.2014