hadoop - 作业完成后任务继续运行

Question

我运行的hadoop集群有20个节点。

我执行了一项耗费大量内存的繁重工作。由于某些原因，某些任务看起来与作业“失去联系”。 为什么看起来如此？

1. 我有600秒的任务超时时间。而这些任务的运行远不止于此。我通过查看java进程知道这一点。

2. 作业完成后我仍然有地图缩进过程运行。

有没有人遇到过这样的问题？

Answer 1

1. 如果600秒内没有任何进度报告，任务将被终止。只要有一些进展，任务就会继续下去。

2. 不应该发生。你确定这些流程来自你的工作吗？如果您几次重新启动相同的作业，如果您没有正确停止较旧的作业，仍可能会有几个挂起的进程。