Sqoop导入。可以执行多少个最大映射器

Question

可以在Sqoop导入中执行多少个最大映射器数量。此外，尽管使用sqoop导入有任何情况下reducer正在运行。

Answer 1

Sqoop工作在默认情况下使用4地图的任务。可以通过将-m或--num-mappers参数传递给作业来修改它。对于由Sqoop设置的映射器数量没有最大限制，但并发连接到数据库的总数是一个需要考虑的因素。阅读更多关于控制Sqoop here中的并行性。

如果表中没有主键定义或--split-by参数提供给sqoop命令，映射器的数量应当明确设置为1。

Sqoop工作没有任何减少任务。

Answer 2

1. 在Sqoop导入中可以执行多少个映射器的最大数量？

增加映射器的数量将导致更高一些 并发数据传输任务，“可”导致更快的工作 完成。

这并不总是会导致更快的工作完成。在增加映射器数量的同时，还有一点可以让你的数据库完全达到 。增加超过这一点的制图人数 不会导致更快的工作完成;事实上，它会产生相反的效果，因为您的数据库服务器花费更多时间进行切换而不是提供数据服务的上下文切换 。

映射器的最佳数量取决于许多变量：

1.Database类型。

2.用于数据库服务器的硬件。

1. 对您的数据库需要服务的其他请求的影响。

   从少量的映射器开始，为您的环境和用例找到最佳的 并行度。

2. 而且在使用sqoop导入有任何情况下减速器是 运行。都需要aggregation.Number

减速器减速对sqoop是0， 因为它仅仅是运行数据转储到 HDFS的MAP只有作业的作业。我们不汇总任何内容。