YARN保留内存问题

当使用带YARN的FIFO调度程序时（FIFO默认是正确的？），我发现YARN保留一些内存/ CPU来运行应用程序。我们的应用程序不需要保留任何这些内容，因为我们希望固定数量的内核根据用户的帐户执行任务。这个保留的内存使我们的计算不准确，所以我想知道是否有任何方法可以解决这个问题。如果不能删除它，我们正在尝试扩展集群（我们正在使用GCP上的dataproc），但没有正常的停用，缩小集群正在关闭作业。YARN保留内存问题

有什么办法摆脱保留内存？
如果不是，是否有任何方法可以实现纱线的优美退役 2.8.1？我发现3.0.0 alpha（GCP只有beta版本）的情况下，但找不到2.8.1的任何工作指令。'

在此先感谢！

来源

2017-08-30 Yong Hyun Kwon

仅供参考，在Dataproc 1.2中，我们将YARN配置为在容量调度程序中使用公平排序。 https://issues.apache.org/jira/browse/YARN-3319。所以现在公平的安排。 –

这是你正在谈论的保留内存？：https://stackoverflow.com/questions/28566468/what-is-memory-reserved-on-yarn –

@KarthikPalaniappan是的，这是保留的内存 –

关于2，Dataproc支持YARN graceful decommissioning，因为Dataproc 1.2使用Hadoop 2.8。

来源

2017-09-01 23:01:21

它说它的beta版...不知道现在是否安全使用它 –

我们最初推出的功能作为“测试版”，以确保我们没有错过任何明显的问题。 FWIW我已经使用了数十次优雅的退役，并且按预期工作。我们的API主要是围绕YARN本地退役（在2.8.0版本中推出）的封装。如果您确实尝试过，请随时举报任何问题。 –

YARN保留内存问题

回答

相关问题