sqoop中的减速器数

Question

sqoop中的多少个默认映射器和减速器？ （4映射器，0-缩减器）。

如果在sqoop import中使用--where或--query条件，那么会有多少个reducer？

在本地群集是表示使用--where or --query condition

Answer 1

作为每sqoop用户指南后0减速器，从最数据库源并行Sqoop进口数据。您可以通过使用参数 --num-mappers

参数指定要用于执行导入的地图任务（并行进程）的数量。默认情况下，使用四个任务。就好像我们没有执行任何聚合任务，reducer任务将为零。有关详细信息http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_free_form_query_imports

Answer 2

Sqoop工作是地图只。没有减速机阶段。

例如，使用4个映射器从Mysql导入到HDFS的sqoop将生成4个并发连接并开始提取数据。创建了4个Mappers作业。数据将被写入HDFS零件文件。没有减速器阶段。