如何判断我即将在群集上还是在“本地”模式下运行Hadoop串流作业？

Hadoop的数据流将运行过程中的“本地”模式时，有设备上运行的Hadoop没有实例。我有一个shell脚本按顺序控制一组hadoop流式作业，并且需要将文件从HDFS复制到本地，具体取决于作业是否已在本地运行。有没有一种标准的方法来完成这个测试？我可以做一个“ps aux | grep something”，但这似乎是特设的。如何判断我即将在群集上还是在“本地”模式下运行Hadoop串流作业？

来源

2011-12-31 SetJmp

而不是试图在过程运行该模式的运行时间来检测，它可能是更好的包裹要在bash脚本，明确选择本地VS集群operatide开发工具。 O'Reilly的Hadoop的介绍了如何明确选择本地使用配置文件覆盖：

hadoop v2.MaxTemperatureDriver -conf conf/hadoop-local.xml input/ncdc/micro max-temp

其中conf-local.xml设置为本地操作的XML文件。

来源

2012-01-13 16:54:33 SetJmp

当箱子上没有运行hadoop实例时，Hadoop流将以“本地”模式运行进程。

你能PL点为这个参考？

定期或流作业的运行它的配置方式，所以我们提前知道其模式的作业运行时间。查看以不同模式在Single Node和Cluster上配置Hadoop的文档。

来源

2011-12-31 08:42:16

我没有试过，但我认为你可以读出mapred.job.tracker配置设置。

来源

2012-01-26 23:55:46

如何判断我即将在群集上还是在“本地”模式下运行Hadoop串流作业？

回答

相关问题