谁在hadoop中分割文件？它是否是Job Tracker？

Question

当客户端将数据存储到hdfs时，我想知道 ，谁正在执行将大文件分割为更小的块的任务？ 客户端是否直接将数据写入DataNode？如果是这样，那么数据何时分裂为64 MB或128 MB？

Answer 1

JobClient确实不是作业服务器

招聘客户端计算输入分割在位于输入路径 上运行的工作，而指定的HDFS的数据。该文章说，然后作业 客户端将资源（罐子和计算输入分割）复制到HDFS。

输入本身依赖于群集。客户端仅计算从namenode获得的元信息（块大小，数据长度，块位置）。这些computed输入拆分将元信息携带到任务，例如，块偏移量和要计算的长度。