2016-08-22 62 views
3

有没有办法让驾驶员复位火花蓄电池,这样执行器蓄电池也会被清洗。火花蓄电池复位

我有一个累加器,它实际上是一个List> 所有执行器都将元组添加到累加器中,驱动程序读取它。 问题是执行者堆被填充。

当驱动程序读取所有数据时,执行程序不需要本地数据。

感谢

回答

0

我不知道你们有没有试过用蓄电池的公共方法setValue()司机重置累加器。

您可能能够利用这一点,即setValue()方法,重置累加器到更小的物体值(例如,无论您的蓄压式的‘零’的目标是,或‘空’如果你确定累加器将不会被再次访问)。

from https://issues.apache.org/jira/browse/SPARK-3885