有没有办法设置火花执行器进程的niceness设置？

我有一群我必须与其他进程共享的机器。让我们说我不是一个好人，并且希望我的火药执行者流程能够优先于其他人的流程。我该如何设置？有没有办法设置火花执行器进程的niceness设置？

我使用的独立模式，V2.01，上RHEL7

运行

来源

2016-11-14 ThatDataGuy

[独立集群模式当前仅支持跨应用程序的简单FIFO调度程序。]（https://spark.apache.org/docs/2.0.1/spark-standalone.html#resource-scheduling） –

我不' t意味着相对于同一个主节点上的其他火花应用的优先级，我的意思是节点上的其他进程。例如，运行诸如HTCondor等应用程序的其他进程。 – ThatDataGuy

一种方式是超额订购群集中的核心。 – mrsrinivas

分配所有资源火花申请留下需要的操作系统运行最小资源。

一个简单的场景： 想象与运行NodeManagers（纱模式）六个节点，每个都配有16个内核和64GB的内存簇。 NodeManager容量yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores应该分别设置为63 * 1024 = 64512（兆字节）和15。我们避免将100％的资源分配给YARN容器，因为节点需要一些资源来运行OS和Hadoop守护进程。在这种情况下，我们为这些系统进程留下了一个千兆字节和一个核心。

来源

2016-11-14 17:44:09

火花簇不使用YARN。其次，它已经忙于与其他工作负载无关的任何方式。 – ThatDataGuy

有没有办法设置火花执行器进程的niceness设置？

回答

相关问题