Файл маркера задания не найден при запуске примера подсчета слов Hadoop

Я только что успешно установил Hadoop на небольшой кластер. Теперь я пытаюсь запустить пример подсчета слов, но получаю эту ошибку:

****hdfs://localhost:54310/user/myname/test11
12/04/24 13:26:45 INFO input.FileInputFormat: Total input paths to process : 1
12/04/24 13:26:45 INFO mapred.JobClient: Running job: job_201204241257_0003
12/04/24 13:26:46 INFO mapred.JobClient:  map 0% reduce 0%
12/04/24 13:26:50 INFO mapred.JobClient: Task Id : attempt_201204241257_0003_m_000002_0, Status : FAILED
Error initializing attempt_201204241257_0003_m_000002_0:
java.io.IOException: Exception reading file:/tmp/mapred/local/ttprivate/taskTracker/myname/jobcache/job_201204241257_0003/jobToken
    at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:135)
    at org.apache.hadoop.mapreduce.security.TokenCache.loadTokens(TokenCache.java:165)
    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1179)
    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116)
    at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404)
    at java.lang.Thread.run(Thread.java:722)
Caused by: java.io.FileNotFoundException: File file:/tmp/mapred/local/ttprivate/taskTracker/myname/jobcache/job_201204241257_0003/jobToken does not exist.
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:397)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251)
    at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125)
    at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283)
    at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:427)
    at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:129)
    ... 5 more

Любая помощь?


hadoop cluster-computing word-count
person thinkBig    schedule 24.04.2012    source источник
comment
Существует ли путь /tmp/mapred/local и есть ли у пользователя, под которым запущены службы Hadoop, разрешение на запись в этот каталог?   -  person Chris White    schedule 24.04.2012
comment
IIRC вы должны выбрать этот каталог или быть пользователем в группе с этими разрешениями. Иначе получишь фнф   -  person apesa    schedule 25.04.2012

Ответы (2)


arrow_upward
2
arrow_downward

Я только что работал над этой же ошибкой - рекурсивная установка разрешений в моем каталоге Hadoop не помогла. Следуя рекомендации Mohyt здесь, я изменил core-site.xml (в каталоге hadoop/conf/), чтобы удалить место, где я указал временную каталог (hadoop.tmp.dir в XML). После разрешения Hadoop создать собственный временный каталог я работаю без ошибок.

person s3cur3    schedule 14.06.2012

arrow_upward
0
arrow_downward

Лучше создать свой собственный временный каталог.

<configuration>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/home/unmesha/mytmpfolder/tmp</value>
 <description>A base for other temporary directories.</description>
 </property>
.....

И дать разрешение

unmesha@unmesha-virtual-machine:~$chmod 750 /mytmpfolder/tmp

проверьте это для конфигурации core-site.xml

person USB    schedule 30.04.2014