Hadoop Mapreduce wordcount

Question

从Eclipse Kepler运行Hadoop MapReduce WordCount程序并使用位于Mapreduce（hadoop-mapreduce-example-2.6.0.jar）中的预定义jar文件运行它有什么区别。 与速度，性能等有什么区别。

Answer 1

没有区别。只要当你的输入是巨大的，并且你的映射器/缩减器运行在多个节点上时，你会看到显着的性能改进，因为现在单词计数将在不同的机器上并行完成。

Answer 2

当您从eclipse运行map-reduce（即没有构建.jar并通过点击运行程序直接运行）时，您实际上正在运行伪模式（主要用于测试目的）的map-reduce。

要以伪模式运行程序，您并不需要安装hadoop。你只需要hadoop jar文件。

但是，当您使用hadoop-mapreduce-example-2.6.0.jar（即，编写命令在终端上运行它）时，您实际上正在运行livered群集（Hadoop）上的mapreduce。为此，您需要启动并运行Hadoop群集。