在忙碌时正在写hadoop集群运行map reducer作业

Question

我知道Hadoop具有公平调度程序，我们可以将作业分配给某个优先级组，并根据优先级将作业分配给作业。我不确定的以及我要问的是，Hadoop集群如何优先处理非映射红色程序。具体来说，Hadoop在群集忙于运行映射红色作业时，如何通过外部客户端向Hadoop写入数据（如直接打开HDFS文件并将流式数据发送给它的某个独立程序）将被Hadoop优先处理。

Answer 1

资源管理器只能优先考虑提交给它的作业（如MapReduce应用程序，Spark作业等）。

除了distcp，HDFS操作只与NameNode和Datanodes交互，而不是与资源管理器交互，因此它们将由NameNode按收到的顺序处理。