Apache Crunch管道如何生成地图缩减作业？

Question

我是新来的hadoop管道框架像Crunch/Cascading。我想知道那些框架的底部，他们是否像原始的MapReduce程序一样生成原始的mapper和reducer类？从Crunch源代码中，我没有找到将管道转换为原始MapReduce类的代码。

Answer 1

您可以使用代码中的以下行直观显示MapReduce计划紧缩已创建。将pipeline.dot中创建的DOT代码复制到graphviz中以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile"); 
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);