Hadoop MapReduce，Java执行问题

目前我进入Apache Hadoop（使用Java实现MapReduce作业）。我研究了一些示例（如WordCount示例）。我在玩编写自定义mapreduce应用程序（我使用Cloudera Hadoop Demo VM）方面取得了成功。我的问题是关于一些实现和运行时问题。Hadoop MapReduce，Java执行问题

的作业类的原型如下：

public class WordCount { 

    public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { 
    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
    // mapping 
     } 
    } 
    } 

    public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { 
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
     // reducing 
    } 
    } 

    public static void main(String[] args) throws Exception { 
    JobConf conf = new JobConf(WordCount.class); 
    conf.setJobName("wordcount"); 
    // setting map and reduce classes, and various configs 
    JobClient.runJob(conf); 
    } 
}

我有一些问题，我想谷歌他们，但Hadoop是很正规的，我必须告诉大家，文件（就像一个大参考书），不适合初学者。

我的问题：

做的Map和Reduce类必须是静态内部类中主类，或者他们可以在任何地方
你可以用任何东西（从Main仅可见？） Java SE和可用库必须提供如普通Java SE应用程序一样的功能吗？我的意思是，像JAXB，番石榴，杰克逊JSON等
什么是编写通用解决方案的最佳做法？我的意思是：我们想要以不同的（但稍微相似）方式处理大量的日志文件。日志文件的最后一个标记始终是包含一些条目的JSON映射。一个处理可以是：按照日志行（keyA，keyB从地图）进行计数和分组，并且另一个可以是：通过日志行（keyX，来自地图的keyY）进行计数和分组。（我正在考虑一些基于配置文件的解决方案，您可以在其中为程序提供实际所需的条目，如果您需要新的分辨率，则只需提供配置并运行应用程序即可）。
可能相关：在WordCount示例中，Map和Reduce类是静态内部类，main（）对它们没有影响，只是将这些类提供给框架。你可以让这些类是非静态的，提供一些字段和构造函数来改变运行时的一些当前值（如我提到的配置参数）。

也许我在挖掘细节不必要的。总体问题是：hadoop mapreduce程序仍然是我们习惯使用的常规JavaSE应用程序吗？

来源

2013-05-03 gyorgyabraham

这是你的答案。

映射器和减速器类可以是在单独的Java类，在封装结构的任何地方或只要MapTask/ReduceTask的类加载器能够加载映射器/减速器类在单独的jar文件可以。您显示的示例是针对Hadoop初学者的快速测试。
是的，您可以使用任何Java库。应通过-files选项hadoop jar命令或使用Hadoop API将这些第三方罐子提供给MapTask/ReduceTask。查看此链接here有关将第三方库添加到Map/Reduce类路径的更多信息
是的，您可以使用这些方法之一配置并将配置传递到Map/Reduce作业。

3。1使用org.apache.hadoop.conf.Configuration对象，如下设置在客户端程序（配置Java类与main()方法

Configuration conf = new Configuration(); conf.set("config1", "value1"); Job job = new Job(conf, "Whole File input");

的的Map/Reduce程序可以访问配置对象，并获取值设定对于使用get()方法的属性，如果配置设置很小，则建议使用此方法

3.2使用分布式缓存加载配置并使其在Map/Reduce程序中可用。单击here分布式缓存尾巴。这种方法更可取。

4. main()是应该负责配置和提交Hadoop作业的客户端程序。如果没有配置的设置，则默认设置将被使用。该配置，例如映射器类，消脂类，输入路径，输出路径，输入格式类，减速器数等。如：

此外，看文档here上作业配置

是，地图/减少程序仍然是JavaSE程序，但它们分布在Hadoop集群中的各台机器上。比方说，Hadoop集群有100个节点并提交了字数统计的例子。 Hadoop框架创建Java进程为这些地图和Reduce任务，并调用回调方法，如map()/reduce()在哪里的数据存在机器的子集。实质上，您的映射器/缩减器代码将在存在数据的计算机上执行。我建议你阅读的The Definitive Guide

我希望第6章，这有助于。

来源

2013-05-03 21:12:36

谢谢，非常丰富！ – gyorgyabraham 2013-05-06 12:11:56

Hadoop MapReduce，Java执行问题

回答

相关问题