Datanode перезагружается при выполнении Hadoop fs -put для больших данных (30 ГБ)

У меня есть кластер Hadoop с 3 узлами. 1 ведущий и 2 подчиненных. Каждый из них имеет по 24 ГБ оперативной памяти. Когда я выполняю

hadoop fs -put

для передачи данных из локальной файловой системы в купол hdfs данные передаются, а затем я получаю исключение как

12/11/06 19:01:39 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception      for block blk_-2646313249080465541_1002java.net.SocketTimeoutException: 603000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/172.30.30.210:51735 remote=/172.30.30.211:50010]
    at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:155)
    at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:128)
    at java.io.DataInputStream.readFully(DataInputStream.java:178)
    at java.io.DataInputStream.readLong(DataInputStream.java:399)
    at org.apache.hadoop.hdfs.protocol.DataTransferProtocol$PipelineAck.readFields(DataTransferProtocol.java:125)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:3284)

12/11/06 19:01:39 WARN hdfs.DFSClient: Error Recovery for block blk_-2646313249080465541_1002 bad datanode[0] 172.30.30.211:50010
put: All datanodes 172.30.30.211:50010 are bad. Aborting...
12/11/06 19:01:39 ERROR hdfs.DFSClient: Exception closing file /user/root/input/wiki.xml-p000185003p000189874 : java.io.IOException: All datanodes 172.30.30.211:50010 are bad. Aborting...
java.io.IOException: All datanodes 172.30.30.211:50010 are bad. Aborting...
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:3414)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2906)
    at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3110)

Я использовал 30 ГБ данных для передачи, и было передано только 22 ГБ, а затем я получил это исключение, и оба узла данных были перезагружены. Есть ли проблема с буфером. Я имею в виду, что datanode получает данные от namenode через сокет, и, возможно, буфер datanodes недостаточно велик для размещения огромных данных и вызывает это исключение.

Это файл журналов, созданный HDFS.

2012-11-06 18:54:10,074 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2012-11-06 18:54:10,239 INFO org.apache.hadoop.metrics2.impl.MetricsSinkAdapter: Sink ganglia started
2012-11-06 18:54:10,349 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-11-06 18:54:10,350 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-11-06 18:54:10,350 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2012-11-06 18:54:10,644 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-11-06 18:54:11,387 WARN org.apache.hadoop.hdfs.server.common.Storage: Ignoring storage directory /data/hadoop/data due to exception: java.io.FileNotFoundException: /data/hadoop/data/in_use.lock (Permission denied)
at java.io.RandomAccessFile.open(Native Method)
at java.io.RandomAccessFile.<init>(RandomAccessFile.java:216)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.tryLock(Storage.java:703)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:684)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:542)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:112)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:408)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:306)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1623)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1562)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1580)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1707)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1724)

2012-11-06 18:54:11,551 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: All specified directories are not accessible or do not exist.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:143)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:408)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:306)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1623)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1562)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1580)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1707)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1724)

2012-11-06 18:54:11,552 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:

А это те, что созданы Mapred

2012-11-06 18:54:29,395 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2012-11-06 18:54:29,416 INFO org.apache.hadoop.metrics2.impl.MetricsSinkAdapter: Sink ganglia started
2012-11-06 18:54:29,449 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-11-06 18:54:29,450 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-11-06 18:54:29,450 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: TaskTracker metrics system started
2012-11-06 18:54:29,792 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-11-06 18:54:30,002 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2012-11-06 18:54:30,056 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter)
2012-11-06 18:54:30,103 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-1
2012-11-06 18:54:30,107 INFO org.apache.hadoop.mapred.TaskTracker: Starting tasktracker with owner as mapred
2012-11-06 18:54:30,108 INFO org.apache.hadoop.mapred.TaskTracker: Good mapred local directories are: /data/hadoop/mapred
2012-11-06 18:54:30,145 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Cannot rename /data/hadoop/mapred/ttprivate to /data/hadoop/mapred/toBeDeleted/2012-11-06_18-54-30.117_0
at org.apache.hadoop.util.MRAsyncDiskService.moveAndDeleteRelativePath(MRAsyncDiskService.java:260)
at org.apache.hadoop.util.MRAsyncDiskService.cleanupAllVolumes(MRAsyncDiskService.java:315)
at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:736)
at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1515)
at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3814)

hadoop hdfs
person Nilesh    schedule 06.11.2012    source источник
comment
Это как-то связано с dfs.stream-buffer-size??   -  person Nilesh    schedule 06.11.2012
comment
какие ошибки вы видели в логах datanode? почему они были мертвы?   -  person octo    schedule 06.11.2012
comment
datanode просто не умер. Все машины, на которых работали узлы данных, перезагрузились.   -  person Nilesh    schedule 06.11.2012
comment
как следует из удаленных журналов (пожалуйста, добавьте их к вашему вопросу), похоже, вы должны проверить dfs.data.dirs на наличие и возможность записи пользователем hdfs.   -  person octo    schedule 07.11.2012
comment
Я проверил каталоги данных, они присутствуют, и, как я уже упоминал в вопросе, некоторые данные (20 ГБ из 30 ГБ) записываются. Таким образом, каталоги существуют, а также правильные права на запись.   -  person Nilesh    schedule 07.11.2012
comment
Все указанные каталоги недоступны или не существуют. четко говорится, что не данные каталоги доступны. Узел данных умирает, и, как указано в следующем журнале, все узлы данных 172.30.30.211:50010 неисправны, mapreduce не может продолжаться из-за отсутствия доступного узла данных для записи. Почему они исчезли (в случае, если они существовали до начала работы) - вам нужно найти в своих системных журналах.   -  person octo    schedule 07.11.2012
comment
для меня это выглядит так: datanode буферизуется и пытается записать в ваш раздел, где находится datadir, но в какой-то момент тайм-аут datanode для записи и объявляет каталог данных недоступным для записи. И поскольку настроен только один каталог, узел данных прерывается с сообщением выше   -  person octo    schedule 07.11.2012
comment
Это (или была), вероятно, ваша конфигурация, которая сделала это. Ваши DN должны быть настроены на использование монтирования, отличного от /tmp, для его dfs.data.dir (по умолчанию находится в /tmp). Я подозреваю, что вы в конечном итоге заполнили tmpfs, и он прерывается, когда он не может продолжаться.   -  person Harsh J    schedule 17.11.2012

Ответы (1)


arrow_upward
0
arrow_downward

Ваша проблема связана с большой передачей данных внутри кластера. Для этой цели в Apache Hadoop есть специальный инструмент, который называется distcp. Это позволяет всем узлам в кластере в равной степени участвовать в передаче данных в HDFS.

Дополнительные сведения см. на странице http://hadoop.apache.org/docs/r0.20.2/distcp.html

person sp3tsnaz    schedule 30.01.2013
comment
У меня ошибка-java.io.IOException: все узлы данных 10.0.0.15:50010 неверны. Прерывание... При использовании Hive (во время чтения таблицы), как я могу использовать там distcp? - person Sagar Nikam; 03.04.2013
comment
@SagarNikam Когда узлы данных выходят из строя, вы должны сначала выполнить проверку файловой системы ссылка . Это не проверка локальной файловой системы Linux. Но это команда проверки файловых систем HDFS. Это должно быть в состоянии решить проблему с плохими узлами данных / поврежденными блоками данных. - person sp3tsnaz; 24.05.2014