Q

spark-shell错误YarnScheduler：丢失的执行程序

2016-04-14 21 views 1 likes

1

spark-shell里面我不断收到我的评论提交之间的以下错误消息。这些可能是关于什么的？spark-shell错误YarnScheduler：丢失的执行程序

阶> 16/04/12 12时49分14秒ERROR YarnScheduler：丢失的执行者2上XXXXXXXX：远程RPC客户端解除关联 16/04/12 12时49分14秒ERROR YarnScheduler：丢失的执行5上XXXXXXXX：远程RPC客户端解除关联 16/04/12 12时49分16秒ERROR YarnScheduler：失落的执行4 XXXXXXXX：远程RPC客户端取消关联

2016-04-14 Ruxi Zhang

+0

这太宽而不能回答，但我会考虑的第一件事就是内存开销性能火花 – eliasah

+0

我同意给纱，我肯定会检查由纱线日志给出的内存开销属性。 –

A

回答

1

如果您配置了动态资源分配，这些错误会显示在不需要的资源被释放到纱。错误级别似乎误导我，也许INFO会更合适。 http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

编辑：这应该是固定在星火1.6 https://issues.apache.org/jira/browse/SPARK-4134

2016-04-16 16:24:33

+0

谢谢，我认为这完全有道理。 –

相关问题