Hadoop Libjars的位置

Question

我正在群集上运行hadoop作业，并在运行hadoop作业时使用-libjars选项传递一些jar。我不知道在哪里可以找到群集上的这些罐子。还有一件事，这些罐子是否从本地机器复制到集群。我在哪里可以找到关于集群

Answer 1

这些罐子按照Hadoop - The Definitive Guide

复制从本地文件系统指定的JAR文件（或者，如果 指定一个方案中的任何文件系统），以共享文件系统bythe JobTracker的使用（通常是HDFS），并将它们添加到MapReduce任务的类路径中。此选项是运输作业所依赖的JAR文件的有用方法。

因此，将指定的文件从本地文件系统复制到HDFS，然后复制到类路径中的映射器/缩减器节点。另外，这些文件被复制为mapreduce.client.submit.file.replication次数，默认值为10.复制3次以上的原因是文件必须分发到所有需要的节点。