Как включить дополнительное ведение журнала при запуске `hadoop fs` с MAPRFS?

Когда я запускаю эту команду:

hadoop fs -copyFromLocal /tmp/1GB.img 'maprfs://maprfs.example.com/tmp/1GB.img'

Я получаю следующие ошибки.

2014-11-05 01:21:08,7669 ERROR Client fs/client/fileclient/cc/writebuf.cc:154 Thread: 240 FlushWrite failed: File 1GB.img, error: Invalid argument(22), pfid 4484.66.266002, off 65536, fid 5189.87.131376
14/11/05 01:21:08 ERROR fs.Inode: Write failed for file: /tmp/1GB.img, error: Invalid argument
14/11/05 01:21:08 ERROR fs.Inode: Marking failure for: /tmp/1GB.img, error: Invalid argument
14/11/05 01:21:08 ERROR fs.Inode: Throwing exception for: /tmp/1GB.img, error: Invalid argument
14/11/05 01:21:08 ERROR fs.Inode: Flush failed for file: /tmp/1GB.img, error: Invalid argument
14/11/05 01:21:08 ERROR fs.Inode: Marking failure for: /tmp/1GB.img, error: Invalid argument
14/11/05 01:21:08 ERROR fs.Inode: Throwing exception for: /tmp/1GB.img, error: Invalid argument
copyFromLocal: 4484.66.266002 /tmp/1GB.img (Invalid argument)

Может ли кто-нибудь предложить, как включить дополнительное подробное ведение журнала/отладки?

Вышеупомянутые ошибки, похоже, исходят от классов MAPR hadoop. Было бы неплохо включить более подробное ведение журнала в этих пакетах, а также в org.apache.*

Я попытался изменить /opt/mapr/conf/logging.properties, но это не помогло.

Кстати, под управлением Hadoop 1.0.3 и MapR 3.1.1.26113.GA.

Благодарность,

Fi

p.s. Это связано с моим вопросом в http://answers.mapr.com/questions/11374/write-to-maprfs-with-hadoop-cli-fails-inside-docker-while-running-on-a-data-node#


docker hadoop mapr
person coderfi    schedule 05.11.2014    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Вы также можете использовать опцию напрямую

hadoop mfs -Dfs.mapr.trace=DEBUG -ls maprfs://maprfs.example.com/tmp/1GB.img

person Nabeel Moidu    schedule 09.11.2014

arrow_upward
0
arrow_downward

Нашел ответ, любезно предоставленный http://answers.mapr.com/answer_link/6181/

Просто нужно свойство fs.mapr.trace=debug в

/opt/mapr/hadoop/hadoop-0.20.2/conf/core-site.xml

<configuration>
  <property>
    <name>fs.mapr.trace</name>
    <value>debug</value>
  </property>
</configuration>
person coderfi    schedule 06.11.2014