Hadoop中的映射器数量

Question

让我们说我有100个文件，每个文件大小为100MB，块大小为64MB。

1）有多少mappers需要处理所有这100个文件。

2）如我们所知，输入分割大小的最大限制是块大小。所以在我们的情况下，它将是64 MB。因此，如果映射程序开始处理文件的输入拆分，即64MB，它将如何处理剩余的36MB。这个映射器是负责处理剩余的36MB还是将在其他映射器中处理？

Answer 1

由于您的块大小为64mb，因此将产生总共200个映射器。

相同的文件将通过2名映射器处理，因为它的输入分割位于不同的位置，一个映射器将处理该第一和64MB另一映射器将处理剩余的36MB