设置hadoop集群

Question

hadoop集群中的工作节点是否需要在每个集群上安装hadoop？

如果我只需要某些PC的计算能力，我该如何使用map-reduce而不在每个节点上安装HDFS？

Answer 1

当你说工作者节点时，它包括DataNode和TaskTracker。所以从这个意义上说，如果你想运行MR作业，你需要在每台机器上安装它们。

但是，这里的重点是你会怎么做与MR单独做。我的意思是在存储在本地FS中的数据上运行MR作业不会有多大用处，因为在这种情况下，您无法利用Hadoop提供的分布式数据存储和并行性的功能。

Answer 2

要使用节点的计算能力，您需要在该节点上运行TaskTracker。因此，必须安装Hadoop。

如果您不需要HDFS，则只能运行TaskTracker并且不启动DataNode。