2
我启动了hadoop集群并向主设备提交了一个作业。 jar文件只包含在主文件中。在开始工作时,hadoop是否将罐子运送到所有的奴隶机器上?是否有可能在最后一次运行期间使用之前版本的代码运行从机?Hadoop:从主设备发送到从设备的代码
谢谢
巴拉
我启动了hadoop集群并向主设备提交了一个作业。 jar文件只包含在主文件中。在开始工作时,hadoop是否将罐子运送到所有的奴隶机器上?是否有可能在最后一次运行期间使用之前版本的代码运行从机?Hadoop:从主设备发送到从设备的代码
谢谢
巴拉
从MapReduce的教程:
框架将作业任何 任务上 执行前的必要 文件复制到从节点节点。其效率源于 这一事实:文件为,仅复制 每个作业一次,并且缓存 存档的能力在 奴隶上未被存档。
此处了解详情:
http://hadoop.apache.org/common/docs/current/mapred_tutorial.html