Hadoop程序无需hadoop安装编译

Question

如何在不安装hadoop的情况下编译hadoop示例程序（例如字数）？

我打算在亚马逊EMR上运行我的程序，所以我不需要在我的本地机器上运行我的程序。

Answer 1

您需要将hadoop和map reduce client jar添加到您的类路径中。

例如，这两个应该得到的单词计数例子编译

Hadoop的共2.2.0.jar

类Hadoop MapReduce的客户核心2.2.0.jar

hadoop-common有org.apache.hadoop.io包，你需要你的XxxWritable, Text类等。 hadoop-mapreduce-client-core有org.apache.hadoop.mapreduce您需要为您的地图缩减程序（Mapper，Reducer）和一些基本的工作类。我从来没有使用Amazon EMR，所以我不知道它是如何工作的，不知道是否需要打包其他罐子（或者如果您需要特定版本）。但是这些将会得到一个简单的map reduce程序来编译。

如果你正在使用maven，你可以得到这些相关

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-mapreduce-client-core</artifactId> 
    <version>2.2.0</version> 
</dependency>