如何知道分配给映射器的行总数

Question

我正在运行mapreduce作业。

我通过设置max_input_split_size字段来决定mappers的数量。 假设输入文件大小为1GB，max_input_split_size = 1mb。 因此，每个映射器将在文件中分配一些行数。

假设每个映射器都分配了k行。

有没有办法找到这个值k。

Answer 1

无法获得k的值，即没有分配给映射器的行。它将根据拆分大小拆分文件并将块分配给映射器。