Hadoop中的作业和任务调度

Question

当我在阅读关于延迟公平调度in this slide时，我对Hadoop中的术语“作业调度”和“任务调度”有些困惑。

请纠正我，如果我在下面的假设是错误的：

1. 默认调度，调度能力和公平调度在作业级别是唯一有效的多个作业时，由用户预定。如果系统中只有单一工作，他们不起任何作用。这些调度算法形成“作业调度”的基础

2. 每个作业可以有多个映射和减少任务，它们是如何分配给每台机器的？如何安排一项工作的任务？什么是“任务调度”的基础？

Answer 1

在公平调度的情况下，当有运行一个作业，该作业使用整个集群。当提交其他作业时，空闲的任务插槽将分配给新作业，以便每个作业获得大致相同的CPU时间量。

与默认Hadoop调度程序（它构成一个作业队列）不同，它可以让短时间作业在合理的时间内完成，同时不会使长时间作业挨饿。这也是在多个用户之间共享群集的简单方法。公平分享也可以与工作优先级一起工作 - 优先级被用作权重来确定每个工作得到的总计算时间的比例。

CapacityScheduler旨在允许共享大型群集，同时为每个组织提供最低容量保证。其核心思想是Hadoop Map-Reduce集群中的可用资源根据计算需求分为多个集体资助集群的组织。还有一个额外的好处是，一个组织可以访问任何多余的容量不被他人使用。这为组织提供了具有成本效益的弹性。