Hadoop 2节点群集通信查询

我有一个2节点Hadoop群集（主从）。两个节点都已启动并正在运行，因为我可以在localhost上检查其健康状况：50070。Hadoop 2节点群集通信查询

因此，我将这个150 MB的文件夹（纯文本）放入Master的HDFS中。然后我运行下一个命令：

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /In/ /Out/

问题是我只获得与在单个节点上运行命令相同的执行时间。对我来说，好像这些节点并没有真正做到平行！

我检查从属节点上的日志，我有以下几点：

2015-03-18 23:52:49,455 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving BP-1680309327-31.220.211.10-1426721698684:blk_1073741856_1032 src: /31.220.211.10:46035 dest: /31.220.211.35:50010 
2015-03-18 23:52:51,191 INFO org.apache.hadoop.hdfs.server.datanode.DataNode.clienttrace: src: /31.220.211.10:46035, dest: /31.220.211.35:50010, bytes: 3796560, op: HDFS_WRITE, cliID: DFSClient_NONMAPREDUCE_688133940_1, offset: 0, srvID: fbea19bb-06ee-4868-af5c-0cb9699064f3, blockid: BP-1680309327-31.220.211.10-1426721698684:blk_1073741856_1032, duration: 1734807025 
2015-03-18 23:52:51,191 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder: BP-1680309327-31.220.211.10-1426721698684:blk_1073741856_1032, type=LAST_IN_PIPELINE, downstreams=0:[] terminating 
2015-03-18 23:52:59,733 INFO org.apache.hadoop.hdfs.server.datanode.BlockPoolSliceScanner: Verification succeeded for BP-1680309327-31.220.211.10-1426721698684:blk_1073741856_1032

而且在站长：

15/03/18 23:52:50 INFO mapred.Task: Task 'attempt_local1934686363_0001_r_000000_0' done. 
15/03/18 23:52:50 INFO mapred.LocalJobRunner: Finishing task: attempt_local1934686363_0001_r_000000_0 
15/03/18 23:52:50 INFO mapred.LocalJobRunner: reduce task executor complete. 
15/03/18 23:52:50 INFO mapreduce.Job: map 100% reduce 100% 
15/03/18 23:52:50 INFO mapreduce.Job: Job job_local1934686363_0001 completed successfully 
15/03/18 23:52:51 INFO mapreduce.Job: Counters: 38

这是正常的吗？为什么我说我的两个节点都活着，但是在运行wordcount示例时它并不是并行化的？但相反，它就像一切运行本地！

我似乎无法找到这个问题的答案，所以我会很高兴，如果我能得到一些帮助。

来源

2015-03-19 Theo

我设法使它工作。我将发布实际问题，可能其他一些hadoop 2.6.0用户也将进入这一阶段。 – Theo 2015-03-19 03:31:56

问题是，尽管我的两个节点都被识别为活动，但作业仍在本地运行。

这是由于纱线文件丢失此属性：

<property> 
<name>yarn.resourcemanager.hostname</name> 
<value>master</value> 
</property>

我还三重检查所有的配置文件是在所有节点上相同！在仔细检查了所有内容之后，这项工作全面展开。

将群集配置为Hadoop 1.x和Hadoop 2.x不共享相同的配置参数时需要注意的另一件事。

来源

2015-03-21 18:19:17 Theo

Hadoop 2节点群集通信查询

回答

相关问题